Có thể nhanh chóng tạo / khôi phục ảnh chụp nhanh cơ sở dữ liệu với PostgreSQL không?

Trước hết, tôi là nhà phát triển, không phải DBA hay sysadmin; làm ơn dịu dàng :)

Tôi đang làm việc trên một quy trình làm việc của ứng dụng trong đó một hành động của người dùng sẽ kích hoạt các thay đổi phức tạp trong cơ sở dữ liệu - tạo hàng trăm bản ghi trong một số bảng, cập nhật hàng trăm bản ghi trong các bảng khác, v.v. Tất cả, khoảng 12 bảng (trong số ~ 100 bảng ) bị xúc động bởi hành động này. Do sự phức tạp, tôi rất khó có thể hoàn nguyên thủ công tất cả các thay đổi trước khi tôi có thể chạy thử nghiệm khác. Trong phần lớn thời gian phát triển của mình, tôi chỉ có thể chèn câu lệnh "ROLLBACK" gần cuối quy trình làm việc, nhưng khi tôi đến gần để cam kết các thay đổi của mình, tôi cần kiểm tra thực tế.

Tôi có một bản sao cục bộ của cơ sở dữ liệu sản xuất để làm việc. Trong trường hợp của tôi, việc bán phá giá và khôi phục giữa các bài kiểm tra nhanh hơn so với việc viết một tập lệnh để hoàn tác tất cả các thay đổi. Nó nhanh hơn, nhưng nó vẫn làm tôi chậm đi rất nhiều (quá trình khôi phục mất khoảng 20 phút trên máy tính xách tay cũ của tôi). Có cách nào để tôi có thể lưu ảnh chụp nhanh về trạng thái hiện tại của cơ sở dữ liệu và sau đó nhanh chóng khôi phục nó không?

Tôi được đảm bảo là người dùng duy nhất trên hệ thống và tôi có quyền truy cập root. Kết xuất cơ sở dữ liệu là ~ 100MB khi tar'ed và gzip'ed. Phiên bản PostgreSQL là 8.3.

Cảm ơn trước cho bất kỳ ý tưởng hữu ích.

Bạn có thể sử dụng ảnh chụp nhanh ở cấp hệ thống tệp, nhưng thường khá cồng kềnh, cần hệ thống tệp đặc biệt và không phải lúc nào cũng có sẵn, đặc biệt là trên các máy tính xách tay cũ. ;-)

Làm thế nào về bạn tạo trạng thái cơ sở của bạn như là một cơ sở dữ liệu, và sau đó tạo một cơ sở dữ liệu mới từ nó để chạy thử, sử dụng CREATE DATABASE ... TEMPLATEchức năng. Sau khi kiểm tra, bạn ném cơ sở dữ liệu đó đi. Sau đó, hạn chế tốc độ của bạn về cơ bản chỉ là thời gian đến cp -Rthư mục cơ sở dữ liệu. Đó là nhanh như bạn sẽ nhận được mà không có phép thuật chụp nhanh hệ thống tập tin.

Sử dụng Stellar , nó giống như git cho cơ sở dữ liệu:

Stellar cho phép bạn nhanh chóng khôi phục cơ sở dữ liệu khi bạn đang viết di chuyển cơ sở dữ liệu, chuyển nhánh hoặc làm rối với SQL. PostgreSQL và MySQL (một phần) được hỗ trợ.

Nếu cơ sở dữ liệu của bạn chạy trong Virtualbox , bạn có thể dễ dàng lưu ảnh chụp nhanh và khôi phục ảnh chụp nhanh của cả trạng thái cơ sở dữ liệu và hệ điều hành trong vài giây (hoặc 1-2 phút nếu bạn thực sự có nhiều dữ liệu trong cơ sở dữ liệu hoặc HĐH hoặc bộ nhớ nhỏ được phân bổ cho máy ảo) miễn phí.

Trong / hầu hết các trường hợp của bạn, tốt nhất nên cài đặt một linux nhẹ (hơn máy chủ Windows) để chạy máy ảo nơi cơ sở dữ liệu được lưu trữ cho bạn biết bạn có ít nguồn tài liệu có sẵn trên máy tính xách tay của mình.

Trên trang sản xuất, tôi sử dụng các bản sao lưu ảnh chụp nhanh của MediaTemple để đạt được kết quả tương tự (nhưng đó là 20 đô la cho mỗi khe sao lưu và cụ thể cho dịch vụ lưu trữ web đó, do đó có thể không phù hợp với bạn).

Có lẽ không phải là câu trả lời mà bạn đang hy vọng, nhưng bạn đã xem xét một số mức độ chụp nhanh hơn - LVM chẳng hạn?

Tìm thấy câu hỏi này khi cố gắng làm tương tự và kết thúc bằng git trên thư mục dữ liệu postgresql. Loại bỏ các thay đổi dễ dàng như:

git reset --hard

Tuy nhiên, một tùy chọn khác có thể được thử nghiệm là thực sự lưu một bản sao của thư mục dữ liệu postgresql, sau đó chỉ cần viết lại thư mục hiện có với bản sao khi bạn muốn khôi phục nó. Nó sẽ đòi hỏi nhiều không gian hơn trong đĩa, nhưng chắc chắn sẽ nhanh hơn khôi phục từ bản sao lưu. Tuy nhiên, tôi không chắc chắn liệu điều này có nhanh hơn phương thức mẫu hay không, vì vậy trước tiên nên thực hiện một số thử nghiệm.

Mặc dù tôi phải nói rằng Stellarvà git reset --hardlà một giải pháp thú vị, tôi sẽ gặp vấn đề với các cơ sở dữ liệu và kiểm tra lớn hơn và tôi sử dụng các Virtualboxgiải pháp, v.v. đang sử dụng kim loại trần, vv giải pháp.

Do đó, tôi phải đề cập đến ZFSnhư một hệ thống tập tin để xem xét cho những điều này trong tương lai vì những lý do sau đây mà @Peter Eisentraut cũng đề cập:

1. Ảnh chụp nhanh - đặc biệt là khi bạn sao chép từ Prod sang QA / DR, bạn có thể sử dụng cùng một "hệ thống tập tin" cho các bài kiểm tra:

#On a replication node, rather stop, snap, restore for a "consistent" backup ;)
su -l -c "/usr/bin/m2ee stop" acw_qa
pg_ctlcluster ${=QA} stop --force
zfs destroy -R $SNAPSHOT
pg_ctlcluster ${=REPLICATION} stop --force
zfs snapshot $SNAPSHOT
pg_ctlcluster ${=REPLICATION} start

zfs destroy $CLONE
zfs clone -o mountpoint=$CLONEDIR $SNAPSHOT $CLONE
rm $CLONEDIR/$CLUSTER/recovery.conf
pg_ctlcluster ${=QA} start
su -l -c "/usr/bin/m2ee start" acw_qa

1. để thực hiện kiểm tra, ngay trước khi kiểm tra, hãy dừng postgresql như trên, zfs snapshot $SNAPSHOTkhởi động postgresql, sau đó để khôi phục, dừng postgresql và chỉzfs rollback $SNAPSHOT

2. Nén - Postgresql được nén 3: 1 điển hình trong cơ sở dữ liệu của tôi, vì vậy bạn có thể thực hiện nhiều thử nghiệm hơn nữa;)