Tôi nên sử dụng chương trình nào để truyền dữ liệu 20TB trên mạng?

Tôi cần sao chép 20TB dữ liệu vào một mảng thunderbolt. Hộp nơi dữ liệu tồn tại không có kết nối sấm sét, vì vậy tôi sẽ cần sử dụng mạng 1GB cục bộ cho việc này. (Vâng, nó sẽ mất mãi mãi).

Tôi đã cố gắng sử dụng Filezilla / sftp, nhưng nó đã bị sập khi hàng đợi tăng lên rất lớn. Là rsync hoặc scp con đường để đi?

rsync là một cách tốt để đi (scp khá giống với ít tính năng hơn). Bạn có thể muốn sử dụng -Ztùy chọn, sẽ cho phép nén zlib. Tùy thuộc vào tốc độ ổ đĩa / máy tính của bạn, nó có thể nhanh hơn gửi không nén, tức là nếu liên kết mạng của bạn đã bão hòa. Bạn cũng có thể muốn tùy chọn chế độ lưu trữ, -asẽ giữ nguyên các liên kết tượng trưng, ​​quyền và thời gian tạo / sửa đổi, cũng như sao chép các thư mục theo cách đệ quy. Tùy thuộc vào những gì bạn đang sao chép, bạn có thể muốn -Ebảo tồn các thuộc tính mở rộng và các tài nguyên mac. Cuối cùng, --progresssẽ cho bạn thấy thông tin tiến bộ.

Mặc dù không phổ biến như rsync, nhưng trước đây tôi đã sử dụng một công cụ gọi "mpscp" - http://www.sandia.gov/MPSCP/mpscp_design.htmlm

Từ Phòng thí nghiệm quốc gia Sandia, đây là công cụ sao chép tệp chạy qua SSH được tối ưu hóa đặc biệt để bão hòa mạng tốc độ cao giữa các hệ thống gần gũi (chẳng hạn như sao chép terabyte dữ liệu giữa hai siêu máy tính tại cùng một trang, được kết nối qua 10Gb + hoặc Infiniband). Nó hoạt động tốt, nhưng có thể là một chút khó khăn để thiết lập. Trong thử nghiệm, tôi dễ dàng thấy nó chạy nhanh hơn gấp 3 lần so với rsync.

Sử dụng rsync và xem xét sử dụng nó với rsyncd. Nếu bạn sử dụng rsync mà không có rsyncd, bạn sẽ bị kẹt khi sử dụng ssh, có nghĩa là sử dụng một số loại mã hóa. Bạn có thể sao chép dữ liệu từ máy cũ sang máy mới hơn và máy cũ hơn có thể không có CPU để mã hóa dữ liệu để truyền đủ nhanh để giữ liên kết Ethernet gigabit bão hòa. Kiểm tra chuyển các lô tệp bằng cả hai phương pháp và xem cách nào nhanh hơn.

Vì lý do tương tự, tôi sẽ khuyên bạn nên thử nghiệm tùy chọn nén của rsync trước khi cam kết sử dụng nó. Nén là một hoạt động chuyên sâu khác của CPU có thể không theo kịp tốc độ Ethernet gigabit khi thử trên phần cứng cũ. rsync là một chương trình mười lăm tuổi, được viết lại khi phần lớn mọi người ngay cả ở các nước thế giới đầu tiên truy cập Internet thông qua modem quay số. Băng thông mạng so với sự đánh đổi CPU là khác nhau sau đó.

Là 20Tb này được đóng gói trong một số lượng nhỏ các tệp lớn (như video, cơ sở dữ liệu quái vật) hoặc hàng triệu tệp nhỏ hơn?

Nếu có nhiều tệp nhỏ tôi sẽ sử dụng rsync để có khả năng khởi động lại hoặc luồng tar được truyền cho hiệu quả (một kết nối mạng cho lô, hãy bắt đầu lại từ đầu nếu thất bại)

tar -cf - * | ( cd newhome; tar -xf - )

thư mục từ xa phải được gắn kết.

Bạn có thể trực tiếp đính kèm mảng mới với một giao diện khác? Rsync cục bộ không sử dụng ssh để bạn loại bỏ điểm thất bại đó. Có, Firewire 800 chậm hơn gigabit ethernet nhưng bạn không thể tải ethernet tới 100% - nó có thể nhanh hơn bằng firewire. FYI bạn cũng có thể nối mạng firewire nếu các hộp đủ gần. Thêm giao diện trong tùy chọn hệ thống -> mạng.

Một tùy chọn khác là dùng thử Bittorrent Sync ( http://www.bittorrent.com/sync ). Tôi đã sử dụng nó để đồng bộ ảnh và video gia đình giữa các thành viên trong gia đình của chúng tôi trên mạng WAN nhưng không có lý do gì nó không hoạt động cho mạng cục bộ. Nó sử dụng các kết nối ngang hàng để dữ liệu sẽ không đi qua máy chủ như nếu bạn cố sử dụng một cái gì đó như dropbox (không phải tôi nghĩ rằng bạn có 20TB dung lượng dropbox hoặc muốn đợi lâu để tải lên nhiều như vậy dữ liệu!)

Nó cũng được hỗ trợ trên nhiều nền tảng nên có tính linh hoạt cao hơn rsync và tar.