cách nhanh nhất và đáng tin cậy nhất để chuyển nhiều tập tin là gì?

Tôi đang cố gắng chuyển khoảng 100 nghìn tệp tổng cộng 90gb. Hiện tại tôi đang sử dụng rsync daemon nhưng tốc độ chậm 3,4mb / giây và tôi cần thực hiện việc này nhiều lần. Tôi đang tự hỏi những tùy chọn nào tôi có sẽ kết nối tối đa 100mbit qua internet và rất đáng tin cậy.

Bạn đã xem xét Sneakernet ? Với các tập dữ liệu lớn, vận chuyển qua đêm thường sẽ nhanh hơn và rẻ hơn so với chuyển qua Internet.

Làm sao? Hoặc TL; DR

Phương pháp nhanh nhất tôi tìm thấy là sự kết hợp của tar, mbuffervà ssh.

Ví dụ:

tar zcf - bigfile.m4p | mbuffer -s 1K -m 512 | ssh otherhost "tar zxf -"

Sử dụng điều này tôi đã đạt được chuyển mạng cục bộ bền vững trên 950 Mb / giây trên các liên kết 1Gb. Thay thế các đường dẫn trong mỗi lệnh tar để phù hợp với những gì bạn đang chuyển.

Tại sao? mbuffer!

Nút thắt lớn nhất trong việc chuyển các tệp lớn qua mạng là, cho đến nay, đĩa I / O. Câu trả lời cho điều đó là mbufferhoặc buffer. Chúng phần lớn tương tự nhưng mbuffercó một số lợi thế. Kích thước bộ đệm mặc định là 2MB cho mbuffervà 1MB cho buffer. Bộ đệm lớn hơn có nhiều khả năng không bao giờ trống. Chọn kích thước khối là bội số chung thấp nhất của kích thước khối gốc trên cả hệ thống tệp đích và hệ thống tệp đích sẽ cho hiệu suất tốt nhất.

Đệm là điều mà làm cho tất cả sự khác biệt! Sử dụng nó nếu bạn có nó! Nếu bạn không có nó, hãy lấy nó! Sử dụng (m}?buffercộng với bất cứ điều gì tốt hơn bất cứ điều gì của chính nó. nó gần như là thuốc chữa bách bệnh cho việc truyền tệp mạng chậm.

Nếu bạn đang chuyển nhiều tệp, hãy sử dụng tarđể "gộp" chúng lại thành một luồng dữ liệu. Nếu đó là một tệp duy nhất bạn có thể sử dụng cathoặc chuyển hướng I / O. Chi phí tarso với catkhông đáng kể về mặt thống kê nên tôi luôn sử dụng tar(hoặc zfs -sendnơi tôi có thể) trừ khi nó đã là một tarball . Cả hai thứ này đều được đảm bảo cung cấp cho bạn siêu dữ liệu (và đặc biệt là catsẽ không). Nếu bạn muốn siêu dữ liệu, tôi sẽ để nó như một bài tập cho bạn.

Cuối cùng, sử dụng sshcho một cơ chế vận chuyển vừa an toàn và mang rất ít chi phí. Một lần nữa, chi phí sshso với nckhông đáng kể về mặt thống kê.

Bạn đề cập đến "rsync", vì vậy tôi cho rằng bạn đang sử dụng Linux:

Tại sao bạn không tạo tệp tar hoặc tar.gz? Thời gian truyền mạng của một tệp lớn nhanh hơn nhiều tệp nhỏ. Bạn thậm chí có thể nén nó nếu bạn muốn ...

Tar không nén:

Trên máy chủ nguồn:

tar -cf file.tar /path/to/files/

Sau đó vào cuối nhận:

cd /path/to/files/
tar -xf /path/to/file.tar

Tar với nén:

Trên máy chủ nguồn:

tar -czf file.tar.gz /path/to/files/

Sau đó vào cuối nhận:

cd /path/to/files/
tar -xzf /path/to/file.tar.gz

Bạn chỉ cần sử dụng rsync để thực hiện chuyển các tập tin (tar | tar.gz) thực tế.

Bạn có thể thử tarvà sshmẹo được mô tả ở đây :

tar cvzf - /wwwdata | ssh root@192.168.1.201 "dd of=/backup/wwwdata.tar.gz"

điều này nên được viết lại như sau :

tar cvzf - /wwwdata | ssh root@192.168.1.201 "tar xvf -"

Bạn sẽ mất các --partialtính năng của rsyncquá trình, mặc dù. Nếu các tệp không thay đổi rất thường xuyên, việc sống với một chữ cái đầu chậm rsynccó thể rất đáng giá trong khi nó sẽ nhanh hơn nhiều trong tương lai.

Bạn có thể sử dụng các tùy chọn nén khác nhau của rsync.

-z, --compress              compress file data during the transfer
     --compress-level=NUM    explicitly set compression level
     --skip-compress=LIST    skip compressing files with suffix in LIST

tỷ lệ nén cho các tệp nhị phân rất thấp, vì vậy bạn có thể bỏ qua các tệp đó bằng cách sử dụng --skip-compression, ví dụ: iso, đã được lưu trữ và nén tarball, v.v.

Tôi là một fan hâm mộ lớn của SFTP. Tôi sử dụng SFTP để chuyển phương tiện từ máy tính chính của mình sang máy chủ. Tôi có tốc độ tốt, qua mạng LAN.

SFTP là đáng tin cậy, tôi sẽ cho rằng một shot, vì nó dễ cài đặt và nó có thể nhanh hơn trong một số trường hợp.