Chuyển một lượng lớn dữ liệu giữa các châu lục [trùng lặp]

Có thể trùng lặp:
Cách miễn phí để chia sẻ các tệp lớn qua Internet?
Một số tùy chọn để chuyển các tệp lớn mà không cần sử dụng Internet là gì?

Phòng thí nghiệm của vợ tôi đang thực hiện một dự án ở Mỹ với các cộng tác viên ở Singapore. Thỉnh thoảng họ cần chuyển một lượng lớn dữ liệu hình ảnh chiều cao (~ 10GB nén) trên khắp các châu lục. Với các công nghệ hiện tại, điều gì sẽ là một giải pháp tốt cho kịch bản sử dụng này?

Tôi có thể nghĩ về một vài nhưng không ai trong số họ có vẻ lý tưởng:

• Kết nối trực tiếp qua Internet: tốc độ truyền tải khoảng 500KB / giây, cũng thiếu công cụ xử lý lỗi / truyền lại.
• Tải lên một máy chủ hoặc dịch vụ phổ biến như Dropbox: đau đớn khi tải lên cho cộng tác viên không ở Hoa Kỳ.
• Ghi đĩa hoặc sao chép vào HD và vận chuyển qua Chuyển phát nhanh: độ trễ là rất đáng kể, cộng với công việc làm thêm để tạo bản sao cục bộ.

Bất kỳ đề xuất?

Cập nhật: không bên nào của sự hợp tác là người dùng am hiểu công nghệ.

Tôi đề nghị bạn sử dụng rsync . Rsync hỗ trợ thuật toán chuyển delta, vì vậy nếu các tệp của bạn chỉ bị thay đổi một phần hoặc nếu lần chuyển trước đó bị chấm dứt một cách bất thường, thì Rupync đủ thông minh để chỉ đồng bộ hóa những gì mới / đã thay đổi.

Có một số cổng của Rsync gốc cho Windows và các hệ thống không tương thích khác, cả miễn phí và không miễn phí. Vui lòng xem bài viết của Wikipedia Sync để biết chi tiết.

Rsync trên SSH được sử dụng rất rộng rãi và hoạt động tốt. 10GB là lượng dữ liệu tương đối nhỏ hiện nay và bạn không chỉ định "thỉnh thoảng" nghĩa là gì. Hàng tuần? Hằng ngày? Hàng giờ? Với tốc độ truyền 500KB / giây, sẽ mất khoảng 6 giờ, không thực sự lâu. Nếu bạn cần chuyển dữ liệu thường xuyên, có lẽ tốt hơn là tạo một tác vụ cron để bắt đầu rsync tự động.

Kết nối qua internet có thể là một lựa chọn khả thi và một chương trình như bittorrent hoàn toàn phù hợp với mục đích này vì nó sẽ chia các tệp thành các phần logic được gửi qua internet để được xây dựng lại ở đầu kia.

Bittorrent cũng cung cấp cho bạn sửa lỗi tự động, sửa chữa các phần bị hỏng và nếu nhiều người cần các tệp hơn thì họ sẽ nhận được lợi ích khi có thể được cung cấp tệp từ nhiều nguồn như đã có (một phần) tệp được tải xuống.

Cấp cho mọi người xem nó là một cách tốt đẹp để tải phim và như vậy, nhưng nó có nhiều sử dụng hợp pháp hơn.

Rất nhiều ứng dụng khách bittorrent cũng được tích hợp trình theo dõi để bạn không cần phải có máy chủ chuyên dụng để lưu trữ các tệp.

Chia tệp thành nhiều phần, ví dụ 50MB (sử dụng ví dụ split). Tính toán tổng kiểm tra cho tất cả chúng (ví dụ md5sum). Tải lên trực tiếp bằng FTP và ứng dụng khách FTP chịu lỗi, chẳng hạn như lftptrên Linux. Chuyển tất cả các khối và một tập tin có chứa tất cả các tổng.

Trên trang web từ xa, xác minh rằng tất cả các khối có tổng kiểm tra mong muốn, tải lại những lỗi không thành công và lắp lại chúng vào tệp gốc (ví dụ: sử dụng cat).

Hoàn nguyên vị trí của máy chủ (tôi đã đăng theo giả định rằng trang đích đã cung cấp máy chủ và bạn bắt đầu chuyển cục bộ khi các tệp đã sẵn sàng) khi cần. Máy khách FTP của bạn không nên quan tâm.

Tôi đã có vấn đề tương tự trong quá khứ và sử dụng máy khách FTP chịu lỗi đã hoạt động. Không có bit nào được lật, chỉ cần hủy bỏ kết nối thông thường, vì vậy tôi có thể bỏ qua việc tạo khối và chỉ tải lên tệp. Chúng tôi vẫn cung cấp một tổng kiểm tra cho tập tin hoàn chỉnh, chỉ trong trường hợp.

Một biến thể của câu trả lời của Daniel Beck là chia các tệp thành các phần theo thứ tự từ 50MB đến 200MB và tạo các tệp chẵn lẻ cho toàn bộ.

Bây giờ bạn có thể chuyển các tệp (bao gồm các tệp chẵn lẻ) bằng FTP, SCP hoặc một cái gì đó khác đến trang web từ xa và kiểm tra sau khi đến toàn bộ. Bây giờ nếu có các phần bị hỏng, chúng có thể được sửa bởi các tệp chẵn lẻ nếu có đủ các khối. Điều này phụ thuộc ít nhiều vào số lượng tệp bị hỏng và số lượng tệp chẵn lẻ bạn đã tạo.

Các tệp chẵn lẻ được sử dụng rất nhiều trên Usenet để gửi các tệp lớn. Hầu hết thời gian họ được chia ra làm tài liệu lưu trữ RAR sau đó. Không có gì lạ khi gửi dữ liệu lên tới 50 đến 60 GB theo cách này.

Bạn chắc chắn nên kiểm tra liên kết đầu tiên và bạn cũng có thể xem QuickPar , một công cụ có thể được sử dụng để tạo các tệp chẵn lẻ, xác minh các tệp đã tải xuống của bạn và thậm chí có thể khôi phục các tệp bị hỏng với các tệp chẵn lẻ được cung cấp.

Đây có phải là một tệp 10GB lớn không? Nó có thể dễ dàng tách ra?

Tôi đã không chơi với nó nhiều, nhưng nó đánh tôi là một khái niệm thú vị và tương đối đơn giản có thể hoạt động trong tình huống này:

http://sendoid.com/

Cung cấp dữ liệu qua ftp / http / https / sftp / ftps (yêu cầu thông tin đăng nhập) và sử dụng bất kỳ trình quản lý tải xuống nào ở phía máy khách.

Trình quản lý tải xuống được thiết kế đặc biệt để truy xuất dữ liệu bất kể lỗi nào có thể xảy ra để chúng phù hợp nhất với nhiệm vụ của bạn.

Đối với máy chủ, máy chủ FTP thường dễ cài đặt nhất. Bạn có thể tham khảo một danh sách tại Wikipedia. HTTPS, SFTP và FTPS cho phép mã hóa (trong FTP / HTTP thuần, mật khẩu được gửi bằng văn bản rõ ràng) nhưng SFTP / FTPS ít được hỗ trợ bởi phần mềm máy khách và thiết lập máy chủ HTTP / HTTPS rất khó khăn.