Bảo vệ dữ liệu chống thối bit

Tôi đã nhận ra rằng tôi cần phải bảo vệ tất cả các bức ảnh của mình chống lại sự thối bit (hỏng tập tin xảy ra ngẫu nhiên do lỗi trong ổ đĩa cứng hoặc chuyển mạng).

Gần đây tôi đã phát hiện ra par2 có vẻ như là một chương trình tuyệt vời để tạo các tệp dự phòng và cung cấp khả năng phát hiện và sửa chữa các hỏng tệp.

Tôi không nghĩ rằng hệ thống tệp nhật ký là giải pháp phù hợp ở đây, vì tôi muốn bảo vệ theo cùng với các tệp vào bản sao lưu của mình và khi di chuyển vào máy tính xách tay mới.

Vì vậy, những gì tôi nghĩ rằng tôi cần là một kịch bản có thể được chạy như một cronjob, có thể mỗi giờ một lần. Nó sẽ xem qua tất cả các tệp cần bảo vệ và cập nhật các tệp dự phòng nếu các tệp được thêm hoặc thay đổi (tệp đã chỉnh sửa dấu thời gian mới hơn dự phòng arhive) và nó sẽ sửa chữa các tệp nếu bất kỳ tệp nào bị hỏng (tệp đã thay đổi nhưng chỉnh sửa dấu thời gian chưa được cập nhật).

Có kịch bản hoặc chương trình nào sẽ làm điều này? Hoặc có những chương trình giải quyết vấn đề theo cách khác? Hoặc tôi chỉ nên tự viết một kịch bản như vậy (tôi không muốn, tôi muốn một cái gì đó mạnh mẽ và được thử nghiệm bởi nhiều người dùng)?

Giải pháp chính tắc là sử dụng một hệ thống tập tin hỗ trợ kiểm tra và thực hiện sao lưu thường xuyên.

Ngoài ra, bạn cũng có thể sử dụng sơ đồ lưu trữ dự phòng (RAID) - ở lớp hệ thống tệp - để tránh mất thời gian khôi phục từ bản sao lưu, nếu có thể.

Ví dụ về các hệ thống tập tin như vậy là ZFS hoặc Btrfs .

Tính năng kiểm tra của các hệ thống tập tin như vậy được thực hiện bằng cách sử dụng hàm băm mật mã. Do đó, các lỗi bit phía dưới ngăn xếp lưu trữ được phát hiện với xác suất rất cao - do khả năng phát hiện các tham nhũng của chúng ở cùng cấp hoặc cao hơn như với các công cụ như par2.

Những hệ thống tập tin này cũng bao gồm các tính năng lưu trữ dự phòng - tương tự như cấp độ RAID. Sự khác biệt so với cách tiếp cận RAID phân lớp cổ điển là trong trường hợp phát hiện tham nhũng, hệ thống tập tin có thể chọn chân 'chính xác', tức là phía của gương RAID trả về khối với tổng kiểm tra chính xác.

Đây là một câu hỏi cũ hơn, nhưng vẫn có liên quan trong năm 2019.

Có, các tệp chẵn lẻ là một giải pháp khả thi cho mục đích bit

Mặc dù có những bất lợi đối với việc kiểm tra tính chẵn lẻ ở cấp độ hệ thống, nhưng cũng có một lợi ích rất lớn:

Tính di động.

Việc kiểm tra lỗi dựa trên hệ thống tập tin kỳ lạ nhất trên thế giới về mặt lý thuyết có thể giữ cho dữ liệu của bạn không có bitrot mãi mãi, nhưng bảo vệ bị khóa đối với hệ thống tập tin đó. Ngay khi các tập tin rời đi, chúng không được bảo vệ.

"quá nặng" bởi brapps được cấp phép theo CC BY-NC 2.0 (Anh ấy thực sự nên chuyển sang ZFS và một mái nhà trước khi đưa dữ liệu vào)

Hình ảnh với các tệp chẵn lẻ bên cạnh chúng có thể được chuyển sang ổ USB, được truyền qua các kết nối packlossy, được nén, sao lưu riêng lẻ sang phương tiện khác và hàng trăm thứ khác mà tôi có thể nghĩ ra khỏi đỉnh đầu.

Họ cũng có thể ngăn các thay đổi dựa trên các chương trình xấu (ví dụ: máy phân tích siêu dữ liệu vô tình viết siêu dữ liệu không chính xác)

PAR2 là một lựa chọn khả thi của tệp chẵn lẻ

Các tệp PAR2 đặc biệt có thể được sử dụng đa nền tảng và những bất lợi lớn nhất của chúng không thực sự là vấn đề trong trường hợp sử dụng để bảo vệ ảnh lớn (những PARP không hỗ trợ các thư mục con và không xử lý các tệp <1KB một cách hiệu quả).

Tuy nhiên, các tệp cải cách hành chính không phải là một giải pháp sao lưu hoàn chỉnh

Chúng vẫn cần phải là một phần của chiến lược sao lưu 3 bản sao để "chống đạn", đặc biệt là với các tệp PAR không có lịch sử thay đổi: Nếu một thay đổi được phát hiện là hợp lệ và các tệp chẵn lẻ được tạo lại, sẽ không quay lại mà không tham khảo sao lưu riêng biệt (một giải pháp sao lưu ngoài trang web với lịch sử thay đổi tích hợp sẽ là người chiến thắng ở đây).

Bước tiếp theo

Câu trả lời cho câu hỏi ban đầu của Wikipedia Có tập lệnh hay chương trình nào [tự động tạo và duy trì các tệp chẵn lẻ] không? vẫn là Không có trong năm 2019, nhưng việc tự tạo một kịch bản hoặc có một kịch bản được thực hiện là khá tầm thường. Nếu bạn đi theo con đường này, lời khuyên tốt nhất tôi có thể đưa ra là: tạo một môi trường thử nghiệm với mọi trường hợp cạnh bạn có thể nghĩ ra và chạy bất kỳ tập lệnh nào thông qua tất cả các thử nghiệm trước khi tin tưởng nó.

Và, nếu có ai đọc bài viết này không đi tuyến đường này, hãy xem xét mở nguồn nó vì lợi ích của tất cả mọi người.