Tối ưu hóa rsync để chuyển các tệp lớn một cách nhanh chóng


19

Đây là những gì tôi cần:

  • Daemon Rsync chạy trên máy chủ nguồn. Máy chủ đích thực hiện thao tác kéo rsync như dưới đây:
    rsync -ptv rsync: // source_ip: document / source_path / *. abc Destination_path /
  • Các tệp nhị phân khổng lồ (3 GB đến 5 GB) được sao chép từ máy nguồn đến đích qua mạng LAN. Vì vậy, không cần mã hóa / giải mã. Do đó không sử dụng SSH. Máy đích kết nối trực tiếp với daemon rsync.
  • Thư mục đích sẽ luôn trống trước khi kéo rsync. Vì vậy, tôi không phải lo lắng về việc cập nhật có điều kiện một số tệp. Kéo đồng bộ sẽ luôn tạo các tệp mới ở đích (không cập nhật). Do đó tôi không cần rsync để tính toán tổng.

Tôi không hài lòng với lượng CPU được tiêu thụ bởi rsync ở cuối nhận? Tùy chọn rsync nào sẽ giúp tôi tối ưu hóa việc sử dụng rsync trong trường hợp được giải thích ở trên. Điều tôi quan tâm là rsync có thể đang làm nhiều hơn những gì tôi cần. tập tin tổng kiểm tra rsync. Tôi không cần điều đó.

Cũng muốn xem cải thiện tốc độ.

Thay đổi kích thước khối, vô hiệu hóa tổng kiểm tra vv sẽ giúp gì?


Không sử dụng rsync nếu không có đồng bằng để chuyển.
womble

3
@womble: Tôi nên sử dụng công cụ nào? Rsync đã được đề xuất tại đây- serverfault.com/questions/384467/ Cách
Varun

netcat, hoặc scp với mật mã null.
womble

3
Scp với mật mã null? Bạn có chắc chắn scp hỗ trợ mật mã null. Bạn có thể vui lòng cho một ví dụ hoặc chỉ cho tôi các tài nguyên liên quan không?
Varun

Câu trả lời:


25

Có vẻ như bạn có thể muốn xem qua --whole-filehoặc -Wchuyển đổi. Điều này được bật theo mặc định nếu rsync đang thực hiện các bản sao hệ thống tệp cục bộ, nhưng tôi nghĩ rằng các tài liệu khuyên bạn nên sử dụng nó nếu tốc độ mạng LAN cao và đồng bộ hóa qua mạng.

Về cơ bản, nó vô hiệu hóa thuật toán rsync delta và chỉ chuyển toàn bộ tệp nếu tin rằng nó khác.

Bạn không cần phải lo lắng về việc kiểm tra trừ khi bạn ép buộc -c. Theo mặc định, nó chỉ nhìn vào thời gian sửa đổi lần cuối và kích thước tệp và giả sử các tệp là khác nhau nếu các giá trị đó khác nhau.

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.