Tôi muốn tạo một bản sao mới của một số lượng lớn tệp từ ổ đĩa cục bộ này sang ổ đĩa khác.

Tôi đã đọc rằng rsync thực hiện so sánh tổng kiểm tra các tệp khi gửi chúng đến một máy từ xa qua mạng.

1. Rsync sẽ thực hiện so sánh khi sao chép các tệp giữa hai ổ đĩa cục bộ?

2. Nếu nó thực hiện xác minh - đó có phải là đặt cược an toàn không? Hoặc là tốt hơn để làm một byte bằng cách so sánh byte?

rsync luôn sử dụng tổng kiểm tra để xác minh rằng một tệp đã được chuyển chính xác. Nếu tệp đích đã tồn tại, rsync có thể bỏ qua việc cập nhật tệp nếu thời gian và kích thước sửa đổi khớp với tệp nguồn, nhưng nếu rsync quyết định rằng dữ liệu cần được chuyển, tổng kiểm tra luôn được sử dụng trên dữ liệu được chuyển giữa các quá trình rsync gửi và nhận . Điều này xác minh rằng dữ liệu nhận được giống như dữ liệu được gửi với xác suất cao, không có chi phí quá lớn của so sánh mức byte qua mạng.

Sau khi nhận được dữ liệu tệp, rsync ghi dữ liệu vào tệp và tin tưởng rằng nếu hạt nhân biểu thị ghi thành công, dữ liệu được ghi mà không bị hỏng vào đĩa. rsync không đọc lại dữ liệu và so sánh với tổng kiểm tra đã biết như một kiểm tra bổ sung.

Đối với chính xác minh, đối với giao thức 30 trở lên (được hỗ trợ lần đầu tiên trong 3.0.0), rsync sử dụng MD5 . Đối với các giao thức cũ hơn, tổng kiểm tra được sử dụng là MD4 .

Mặc dù từ lâu đã bị coi là lỗi thời đối với băm mật mã an toàn, MD5 và MD4 vẫn đủ để kiểm tra tham nhũng tệp.

Nguồn: trang người đàn ông và đánh dấu mã nguồn rsync để xác minh.

rsynckhông không làm việc xác minh sau bản sao cho các bản sao tệp cục bộ. Bạn có thể xác minh rằng nó không bằng cách sử dụng rsyncđể sao chép một tệp lớn vào ổ đĩa chậm (tức là USB), sau đó sao chép cùng một tệp với cp, tức là:

time rsync bigfile /mnt/usb/bigfile

time cp bigfile /mnt/usb/bigfile

Cả hai lệnh đều mất cùng một khoảng thời gian, do đó rsynckhông thể thực hiện tổng kiểm tra vì điều đó sẽ liên quan đến việc đọc lại tệp đích khỏi đĩa chậm.

Các mantrang không may là sai lệch về điều này. Tôi cũng đã xác minh điều này với straceSau khi bản sao hoàn tất, rsynckhông có read()cuộc gọi nào trên tệp đích, vì vậy nó không thể được kiểm tra lại. Một lần nữa bạn có thể xác minh nó bằng một cái gì đó như iotop: bạn thấy rsyncviệc đọc và viết đồng thời (sao chép từ nguồn đến đích), sau đó nó thoát. Nếu nó được xác minh tính toàn vẹn, sẽ có một giai đoạn chỉ đọc.

rsyncthực hiện so sánh tổng kiểm tra trước khi sao chép (trong một số trường hợp), để tránh sao chép những gì đã có. Điểm so sánh tổng kiểm tra là không xác minh rằng bản sao đã thành công. Đó là công việc của cơ sở hạ tầng cơ bản: trình điều khiển hệ thống tập tin, trình điều khiển đĩa, trình điều khiển mạng, v.v. Các ứng dụng riêng lẻ như rsynckhông cần phải bận tâm với sự điên rồ này. Tất cả những gì rsynccần làm (và hiện!) Là kiểm tra giá trị trả về của các cuộc gọi hệ thống để đảm bảo không có lỗi.

Câu trả lời nhanh và bẩn, trực tiếp đến các câu hỏi.

Q: Sẽ rsyncso sánh khi sao chép các tập tin giữa hai ổ đĩa cục bộ? A: Nó sẽ làm so sánh để tìm ra những gì để sao chép.

Q: Nếu nó thực hiện xác minh - đó có phải là đặt cược an toàn không? Hoặc là tốt hơn để làm một byte bằng cách so sánh byte? A: an toàn như toán học đằng sau tổng kiểm tra MD5 của tệp. Bạn có thể thử làm thí nghiệm đơn giản để tìm hiểu và tin tưởng vào công cụ.

Câu trả lời dài: Tôi đoán, bạn muốn rsyncthực hiện so sánh tệp (từng bit hoặc bằng tổng kiểm tra) sau khi sao chép tệp. Nếu bạn là một trong số ít giá trị toàn vẹn dữ liệu đó, bạn có thể thấy hữu ích dưới đây:

rsync -avh [source] [destination] && rsync -avhc [source] [destination] 

mã ở trên rsyncthư mục files trên chạy đầu tiên và nếu hoàn toàn không có vấn đề, sẽ chạy rsynclại ngay trong khi thực hiện cùng so sánh tên file bằng cách sử dụng hash của toàn bộ tập tin.

Sử dụng rsync để xác minh tính toàn vẹn của bản sao

Để đảm bảo kiểm tra này đọc lại các tệp từ phương tiện truyền thông, tôi khuyên bạn nên tắt nguồn cả hai ổ đĩa và khởi động lại chúng trước khi chạy thử nghiệm này. Điều này sẽ xóa bộ nhớ cache dễ bay hơi nội bộ của họ.

Nếu không khởi động lại Linux, ít nhất bạn nên bỏ bộ đệm ( * ) bằng:

sudo sh -c 'echo 3 > /proc/sys/vm/drop_caches'

Sau đó để đọc lại cả hai cây và so sánh tổng kiểm tra của chúng:

rsync --dry-run --checksum --itemize-changes --archive SRC DEST

Tổng kiểm tra rsync hiện đại sử dụng MD5, là 128 bit. Khả năng của việc không phát hiện ra lỗi trong một tệp riêng lẻ là rất thấp (một số thảo luận ở đây ), nhưng không phải là không thể.