đề xuất giải pháp sao lưu từ xa ngoại vi hiệu quả của vm's


15

Tôi đang tìm kiếm các đề xuất để sao lưu 6 vm hiện tại của mình (và sẽ sớm phát triển lên đến 20). Hiện tại tôi đang chạy một cụm proxmox hai nút (là cơ sở debian sử dụng kvm để ảo hóa với giao diện người dùng web tùy chỉnh để quản trị). Tôi có hai hộp gần giống nhau với bo mạch chủ amd phenom II x4 và asus. Mỗi cái có 4 500 GB sata2 hdd, 1 cho os và dữ liệu khác cho cài đặt proxmox và 3 sử dụng mdadm + drbd + lvm để chia sẻ 1,5 TB lưu trữ giữa hai máy. Tôi gắn hình ảnh lvm vào kvm cho tất cả các máy ảo. Tôi hiện có khả năng thực hiện chuyển trực tiếp từ máy này sang máy khác, thường trong vài giây (mất khoảng 2 phút trên vm lớn nhất chạy win2008 với máy chủ m $ sql). Tôi đang sử dụng tiện ích vzdump tích hợp của proxmox để chụp ảnh nhanh của vm ' s và lưu trữ những thứ trên ổ cứng ngoài trên mạng. Sau đó tôi có dịch vụ jungledisk (sử dụng rackspace) để đồng bộ thư mục vzdump để sao lưu ngoại vi từ xa.

Điều này là tốt và bảnh bao, nhưng nó không phải là rất có thể mở rộng. Đối với một người, bản sao lưu có thể mất đến vài giờ mỗi đêm. Với chuyển tiền gia tăng cấp độ khối của jungledisk, đồng bộ hóa chỉ chuyển một phần nhỏ dữ liệu ngoại vi, nhưng việc đó vẫn mất ít nhất nửa giờ.

Tất nhiên, giải pháp tốt hơn sẽ là thứ gì đó cho phép tôi lấy ngay sự khác biệt của hai điểm thời gian (giả sử những gì được viết từ 6 giờ sáng đến 7 giờ sáng), nén nó, sau đó gửi tệp khác biệt đó đến máy chủ dự phòng sẽ chuyển ngay đến lưu trữ từ xa trên rackspace. Tôi đã xem xét một chút về zfs và đó là khả năng gửi / nhận. Điều đó kết hợp với một ống dữ liệu trong bzip hoặc một cái gì đó có vẻ hoàn hảo. Tuy nhiên, dường như việc triển khai một máy chủ nexenta với zfs về cơ bản sẽ cần ít nhất một hoặc hai máy chủ lưu trữ chuyên dụng hơn để phục vụ khối lượng khối iSCSI (thông qua zvol's ???) cho các máy chủ proxmox. Tôi muốn giữ cho thiết lập tối thiểu nhất có thể (nghĩa là KHÔNG có máy chủ lưu trữ riêng biệt) nếu có thể.

Tôi cũng đã đọc ngắn gọn về zumastor. Có vẻ như nó cũng có thể làm những gì tôi muốn, nhưng dường như nó đã ngừng phát triển trong năm 2008.

Vì vậy, zfs, zumastor hay khác?

Câu trả lời:


3

Điều này có thể không khả thi trong tình huống của bạn, vì vậy tôi hy vọng tôi không bị bỏ phiếu trong trường hợp đó, nhưng có thể hiệu quả hơn khi thay đổi chiến lược sao lưu của bạn. Nếu bạn sao lưu dữ liệu cụ thể thay vì ảnh chụp nhanh VM, các bản sao lưu của bạn sẽ chạy nhanh hơn nhiều và việc nắm bắt các thay đổi sẽ dễ dàng hơn.

Tùy thuộc vào máy ảo của bạn và chúng được sử dụng cho mục đích gì, bạn có thể sao lưu dữ liệu vào nơi bạn lưu trữ ảnh chụp nhanh hàng ngày (hoặc bất kỳ lịch trình nào phù hợp), và sau đó JungleDisk có thể sao lưu dữ liệu. Điều đó sẽ chuyển các tập tin thay đổi hiệu quả hơn và không gian cần thiết để sao lưu cũng như thời gian cần thiết sẽ giảm. Ngoài ra, bạn vẫn có thể chụp ảnh nhanh để giữ lại và chỉ cần làm điều đó ít thường xuyên hơn (ví dụ hàng tuần).

Trong trường hợp này, bạn luôn có thể đưa lên một VM mới và khôi phục dữ liệu hoặc sử dụng một ảnh chụp nhanh cũ hơn để khôi phục VM, sau đó sử dụng sao lưu dữ liệu để khôi phục lại điểm gần đây nhất.


1
Tôi đã xem xét một cái gì đó như thế. Vấn đề là ít nhất một trong số các vm chính đang chạy một phần mềm cơ sở dữ liệu tùy chỉnh được thiết kế riêng cho ngành công nghiệp HVAC và không có tính năng kết xuất như bạn thấy trong cơ sở dữ liệu sql. Chúng tôi đang xuất một số dữ liệu này sang M $ SQL, nhưng không có tất cả dữ liệu đó và chỉ một lần một ngày. Thật không may, chỉ là quản trị viên mạng không cho phép tôi đưa ra quyết định thiết kế như vậy trong những gì đang chạy trong vm ... chỉ cách chạy vm và sao lưu chúng.
senorsmile

1

Nếu tôi đang thực hiện sao lưu ngoại vi, tôi sẽ chọn các tùy chọn sau:

(a) tập lệnh shell sao chép SCP vào máy chủ từ xa, Bằng cách này, bạn có thể thêm một công việc định kỳ tự động chạy tập lệnh tạo bản sao lưu. Ngoài ra, bạn có thể làm cho nó để nó tạo một tệp lưu trữ tạm thời trước khi thực sự chuyển các tệp do đó tiết kiệm băng thông bằng cách không chuyển trong khi sill gziping.

hoặc là

(b) Cài đặt công cụ quản lý máy chủ như Webmin và nhận điều đó để thực hiện sao lưu tự động. Tôi hiện đang hát bài này trên các máy chủ sản xuất của mình ngay bây giờ mà không gặp vấn đề gì, Nó chỉ hoạt động hoàn hảo. Tôi cũng muốn giới thiệu cloudmin (trả phí) để quản lý nhiều vm vì nó cung cấp giải pháp tất cả trong một.

một số liên kết bổ sung:

http://www.debianhelp.co.uk/backup.htm

http://ubuntuforums.org/showthread.php?t=35087

Mong rằng sẽ giúp, RayQuang


Cảm ơn! Những liên kết có rất nhiều thông tin tốt. Có một điều là tôi cần thứ gì đó có thể hoạt động trên các máy ảo đang chạy trực tiếp và không phải chạy hàng giờ để tính toán sự khác biệt. Máy đơn cuối cùng sẽ là bản cài đặt nexenta có thể chạy xen, kvm (rõ ràng là trong kernel linux) hoặc một cái gì đó tương tự. Bằng cách đó, tôi có giải pháp ảo hóa hiệu suất cao cho windows và máy chủ linux cài đặt trên các tệp hình ảnh hoặc lvm (hoặc zvol), và cách chụp ảnh nhanh không giới hạn và chỉ nhanh chóng chuyển các khác biệt từ bản sao lưu cuối cùng!
senorsmile

1

bạn có thể muốn xem qua backuppc.

backuppc có thể hoạt động trên rsync, bản sao tăng dần.

hơn nữa bạn có thể dễ dàng viết một danh sách đen các thư mục không cần phải sao lưu. Ví dụ: temp / / tmp .garbages / ...

http://backuppc.sourceforge.net/

backuppc có giao diện web sạch cho phép bạn tải xuống một số phần của bản sao lưu trực tiếp dưới dạng tệp zip. Nó có thể được theo dõi bởi nagios bằng cách sử dụng check_backuppc.


Tôi nghĩ backuppc sẽ hoàn hảo cho một dự án hoàn toàn khác! Cảm ơn rất nhiều. Nó cũng có thể là một sự thay thế tốt để chạy các bản sao lưu từ xa đến một trang web khác, để thêm hoặc thay thế jungledisk cho các bản sao lưu ngoại vi.
senorsmile

1

Tôi không chắc chắn, bạn đã dự định thay đổi kiến ​​trúc bao nhiêu để tăng khả năng mở rộng. Tuy nhiên, nếu bạn sẵn sàng chuyển đổi nền tảng VM, bạn có thể xem VMWare.

Có rất nhiều giải pháp sao lưu VMWare tốt, cá nhân tôi đã sử dụng VzionCore. Sau đó, bạn có thể thực hiện một số công cụ khéo léo với ảnh chụp nhanh và phục hồi thời gian. Thậm chí có khả năng thất bại đối với một trang web từ xa.


Thật không may, tôi đang tìm kiếm một cái gì đó khá giống với những gì tôi đang chạy; nó đặc biệt cần phải là nguồn mở và có thể mở rộng. Tôi đã xem xét các giải pháp VMWare và chi phí thậm chí là một cụm ưu điểm hai nút với một bên thứ 3 tốt gần giải pháp sao lưu CDP rất tốn kém.
senorsmile

Tôi nghĩ bạn có nghĩa là VizionCore, không phải VzionCore.
Sean Reifschneider

0

zfs thật tuyệt, bạn đã đề cập đến việc biết rằng mặc dù và nhược điểm của việc không hoạt động tốt ở quy mô 2 máy chủ. Nó cũng sẽ không cung cấp cho bạn chuyển đổi dự phòng DRDB, tức là Nexenta sẽ là một điểm thất bại duy nhất.

Bạn có thể xem xét việc thử VirtualBox trên OpenSolaris hoặc NexentaCore nhưng không đơn giản như ProxMox + DRDB để bạn có thể sử dụng lại các máy hiện có của mình.

Nếu bạn đo lường các thay đổi của mình và thấy chúng đủ thấp, bạn có thể thử DRDB với ngoại vi nhân bản thứ 3 - Nó sẽ chỉ hoạt động nếu số lần ghi cực kỳ ít trên máy ảo của bạn.

Steve Radich - Hiệu suất Windows Hosting & SQL từ năm 1995 - http://www.BitShop.com/Blogs.aspx


0

Tôi chạy một cụm proxmox lớn và phải đề nghị bạn thay đổi chiến lược sao lưu của mình khỏi các bản sao lưu kiểu chụp nhanh vzdump tích hợp, có độ tuổi, luôn đầy đủ do đó có kích thước lớn và khôi phục các tệp riêng lẻ rất dài.

Hãy xem xét một giải pháp sao lưu tệp 'trong khách' có rất nhiều. Sao lưu, Urbackup, bacula, amanda, v.v ...

Nó sẽ nhanh hơn nhiều, tiêu tốn ít dung lượng hơn và dễ dàng hơn nhiều để khôi phục các tệp cụ thể.


0

Tôi nghĩ rằng tôi có thể đã tìm thấy câu trả lời cuối cùng cho câu hỏi của tôi:

BUP https://github.com/bup/bup

Đặc trưng:

  • Nó sử dụng thuật toán tổng kiểm tra (tương tự rsync) để chia các tệp lớn thành các khối. Kết quả hữu ích nhất của việc này là bạn có thể sao lưu các hình ảnh, cơ sở dữ liệu và tệp XML của máy ảo (VM) khổng lồ, mặc dù chúng thường nằm trong một tệp lớn và không sử dụng hàng tấn dung lượng đĩa cho nhiều phiên bản.

    Nó sử dụng định dạng packfile từ git (hệ thống kiểm soát phiên bản nguồn mở), vì vậy bạn có thể truy cập dữ liệu được lưu trữ ngay cả khi bạn không thích giao diện người dùng của bup.

    Không giống như git, nó viết các packfiles trực tiếp (thay vì có một giai đoạn thu gom / đóng gói rác riêng biệt) để nó nhanh chóng ngay cả với lượng dữ liệu khổng lồ một cách vô cớ. Các định dạng chỉ mục được cải thiện của bup cũng cho phép bạn theo dõi tên tệp nhiều hơn git (hàng triệu) và theo dõi nhiều đối tượng hơn (hàng trăm hoặc hàng nghìn gigabyte).

    Dữ liệu được "tự động" chia sẻ giữa các bản sao lưu gia tăng mà không cần phải biết bản sao lưu nào dựa trên cái nào khác - ngay cả khi các bản sao lưu được tạo từ hai máy tính khác nhau thậm chí không biết về nhau. Bạn chỉ cần yêu cầu bup sao lưu nội dung và nó chỉ lưu lượng dữ liệu tối thiểu cần thiết.

    Bạn có thể sao lưu trực tiếp vào máy chủ bup từ xa mà không cần hàng tấn dung lượng đĩa tạm thời trên máy tính được sao lưu. Và nếu sao lưu của bạn bị gián đoạn giữa chừng, lần chạy tiếp theo sẽ chọn nơi bạn rời đi. Và thật dễ dàng để thiết lập máy chủ bup: chỉ cần cài đặt bup trên bất kỳ máy nào bạn có quyền truy cập ssh.

    Bup có thể sử dụng dự phòng "par2" để khôi phục các bản sao lưu bị hỏng ngay cả khi đĩa của bạn không bị phát hiện các thành phần xấu.

    Ngay cả khi một bản sao lưu tăng dần, bạn không phải lo lắng về việc khôi phục lại toàn bộ bản sao lưu, sau đó lần lượt từng phần tăng; một bản sao lưu gia tăng hoạt động như thể nó là một bản sao lưu đầy đủ, nó chỉ tốn ít dung lượng đĩa hơn.

    Bạn có thể gắn kho lưu trữ bup của mình dưới dạng hệ thống tệp FUSE và truy cập nội dung theo cách đó và thậm chí xuất nó qua Samba.

Chỉnh sửa: (ngày 19 tháng 8 năm 2015) Và một giải pháp tuyệt vời khác được đưa ra thậm chí còn tốt hơn: https://github.com/datto/dattobd

Nó cho phép chụp nhanh trực tiếp, về cơ bản cung cấp các tính năng giống như COW cho bất kỳ hệ thống tệp cũ thông thường nào trong Linux.

Chỉnh sửa: (ngày 15 tháng 7 năm 2016) Và thậm chí một giải pháp tuyệt vời khác giúp thổi bay bup ra khỏi nước: https://github.com/borgbackup/borg

Nó đặc biệt tốt hơn bup lúc cắt tỉa. Nó dường như có sự hỗ trợ tuyệt vời cho việc nén, mã hóa và chống trùng lặp hiệu quả. dattobd + borg ftw !!!

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.