Hệ thống tập tin trùng lặp cấp khối


8

Tôi đang tìm kiếm một giải pháp hệ thống tập tin sao chép-sao chép trùng lặp cho dữ liệu người dùng chung như /homevà các bản sao lưu của nó. Nó nên sử dụng sự trùng lặp trực tuyến / nội tuyến / đồng bộ ở cấp độ khối bằng cách sử dụng băm an toàn (cho khả năng va chạm không đáng kể) như SHA256 hoặc TTH . Các khối trùng lặp thậm chí không cần chạm vào đĩa.

Ý tưởng là tôi có thể chỉ cần sao chép /home/<user>vào một ổ cứng gắn ngoài có cùng hệ thống tập tin như vậy để thực hiện sao lưu. Đơn giản. Không phải loay hoay với các bản sao lưu gia tăng trong đó tham nhũng cho bất kỳ ảnh chụp nhanh nào sẽ luôn luôn phá vỡ tất cả các ảnh chụp nhanh sau đó và không cần sử dụng một công cụ cụ thể để xóa hoặc 'kiểm tra' một ảnh chụp nhanh. Tất cả mọi thứ chỉ cần được thực hiện từ trình duyệt tập tin mà không phải lo lắng. Bạn có thể tưởng tượng điều này sẽ dễ dàng như thế nào? Tôi sẽ không bao giờ phải suy nghĩ hai lần về việc sao lưu lại!

Tôi không bận tâm đến hiệu suất, độ tin cậy là mối quan tâm chính. Mặc dù, với việc triển khai cụ thể của cp, mvscp, và một plugin trình duyệt tập tin, các hoạt động này sẽ rất nhanh, đặc biệt là khi có rất nhiều sự trùng lặp như họ sẽ chỉ cần phải chuyển các khối vắng mặt. Vô tình sử dụng các công cụ sao chép thông thường không tích hợp với FS sẽ chỉ mất nhiều thời gian hơn, lãng phí một số băng thông khi sao chép từ xa và lãng phí một số CPU, vì dữ liệu trùng lặp sẽ được đọc lại, chuyển lại và băm lại (mặc dù sẽ không có gì viết lại), nhưng tuyệt đối sẽ không làm hỏng bất cứ điều gì. (Một số phần mềm chia sẻ tệp cũng có thể có lợi bằng cách tích hợp với FS.)

Vì vậy, cách tốt nhất để làm điều này là gì?

Tôi đã xem xét một số tùy chọn:

  • lessfs - Trông không rõ ràng. Có tốt không
  • Opendsup / SDFS - Java? Tôi có thể sử dụng cái này trên Android không?! SDFSnghĩa là gì?
  • Btrfs - Một số bản vá nổi xung quanh trên kho lưu trữ danh sách gửi thư, nhưng không có hỗ trợ thực sự.
  • ZFS - Hy vọng rằng một ngày nào đó họ sẽ được cấp lại theo giấy phép tương thích GPL miễn phí / nguồn mở tương ứng.

Ngoài ra, cách đây 2 năm, tôi đã thử dùng Python với Fuse ở cấp độ tệp để sử dụng trên đỉnh của một FS rắn điển hình như EXT4, nhưng tôi thấy Fuse cho Python bị thiếu và không quản lý để thực hiện tất cả các cuộc gọi hệ thống.


Không phải là một hệ thống tệp, nhưng bạn có thể muốn xem công cụ sao lưu được phát hành gần đây Obnam .
JanC

@JanC: Cảm ơn, có vẻ như phần mềm sao lưu được thực hiện đúng! Nó tránh điều này: "Không làm phiền với các bản sao lưu gia tăng trong đó tham nhũng đối với bất kỳ ảnh chụp nhanh nào sẽ luôn luôn phá vỡ tất cả các ảnh chụp nhanh sau này", nhưng không phải điều này: "và không cần sử dụng một công cụ cụ thể để xóa hoặc 'kiểm tra' ảnh chụp nhanh. ". Chắc chắn là một tìm kiếm tốt mặc dù! Tôi có thể làm việc với một số mã Python. :-)
James Haigh

@JamesHaigh Bạn cũng có thể muốn đăng ý tưởng này trong Ubuntu BrainStorm ; nếu bạn chưa làm nó
Samik

@JamesHoigh một trong những điều trên lộ trình Obnam là một hệ thống tập tin dựa trên cầu chì (nhưng tôi không nghĩ có một mốc thời gian hiển thị khi nào cần điều đó). Điều đó sẽ mang lại "không có công cụ bổ sung" gần hơn.
JanC

Nếu bạn muốn tránh sự hỏng hóc của một bản sao lưu phá vỡ các bản sao lưu sau, bạn chỉ cần thực hiện một bản sao lưu gia tăng đa thế hệ. Thay vì thực hiện đầy đủ vào chủ nhật và chênh lệch hàng ngày luôn luôn liên quan đến ngày hôm trước, chẳng hạn, vào thứ Tư, hãy thực hiện sao lưu gia tăng so với toàn bộ vào chủ nhật (thay vì thứ ba). Sau đó, nếu thứ ba bị hỏng, bạn không quan tâm vì nếu bạn có bản sao lưu của thứ tư, bạn bỏ qua thứ hai và thứ ba khi khôi phục.
psusi

Câu trả lời:


1

Điều này nghe có vẻ rất doanh nghiệp (như trong giá cả).

datadomain cung cấp sao chép dữ liệu và có thể netapp với hệ thống tập tin wafl của họ. Nhưng với chi phí cao.

Một thay thế "miễn phí" có thể là zfs.

Theo tôi mặc dù sự thay thế "tốt nhất" và hầu hết Linux, mặc dù ở cấp độ tệp thay vì "cấp độ khối", sẽ là rsnapshot. Nó sử dụng rsync và liên kết cứng để quản lý phiên bản.

Tôi tin tưởng các công cụ đã được chứng minh cũ hơn là sử dụng một hệ thống tập tin mới như Btrfs đã không đủ lâu để mọi người khám phá tất cả các loại lỗi khó chịu.


Doanh nghiệp? Không, đó là thứ mà tôi mong đợi sẽ thấy theo mặc định trong Ubuntu trong tương lai do tính dễ sử dụng của nó. Tôi đã đề cập đến ZFS nhưng đó là CDDL nên không miễn phí với vốn F. rsnapshotkhông phải là hệ thống tập tin, việc hack mang chức năng giống như snapshot cho các hệ thống tập tin cũ, không tạo ra ảnh chụp nhanh 'thực' (ảnh chụp nhanh được cho là nguyên tử ), và là gia tăng (xem đoạn 2). Tôi thà sử dụng một FS tương đối mới hơn là một cái gì đó sử dụng số gia.
James Haigh

Tôi đoán 'cấp độ tệp' hơi mơ hồ, nhưng tôi đã thấy thuật ngữ được sử dụng trong ngữ cảnh của các hệ thống tệp cùng với cấp độ khối, cấp độ byte và cấp độ bit. Đây là bối cảnh tôi có nghĩa là nó.
James Haigh

1
@JamesHaigh Theo Tổ chức Phần mềm Tự do , CDDL là giấy phép miễn phí (như tự do), nó chỉ không tương thích với GPL . Điều này có nghĩa là mã của CDDL (như triển khai ZFS chính thức) và mã GPL (như nhân Linux) không thể được liên kết về mặt pháp lý với nhau và vì các trình điều khiển trong Linux thường được liên kết dưới dạng mô-đun, cản trở hỗ trợ CDDL trong các hệ điều hành dựa trên Linux.
Eliah Kagan

2
ZFS trên Linux có thể (phụ thuộc vào người bạn hỏi) giải quyết vấn đề này bằng cách được phân phối riêng . Ngoài ra, FUSE cho phép các "trình điều khiển" của hệ thống tập tin hoạt động trong không gian người dùng nơi họ không cần phải tự liên kết với kernel và cũng có phiên bản FFS của ZFS . Vì vậy, bạn có nhiều tùy chọn để sử dụng các hệ thống tệp ZFS trên các hệ điều hành như Ubuntu sử dụng Linux làm hạt nhân của chúng. (Một số hệ điều hành, như Debian, cho phép bạn sử dụng một hạt nhân khác.)
Eliah Kagan

1

Bây giờ tôi đang tìm kiếm và điều tra giống hệt nhau, tôi có thể tìm hiểu https://attic-backup.org/quickstart.html#automating-backups , dường như khá đơn giản và tốt cho việc sao lưu linux.

Ngoài ra còn có bacula với tính năng này, nhưng gác mái dường như đủ tốt cho hầu hết các trường hợp.

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.