Chuyển tập tin đáng tin cậy qua liên kết mạng chậm hoặc không ổn định

Tôi cần chuyển một số tệp tệp qua liên kết băng thông rộng chất lượng thấp đến máy chủ. Các tệp lớn và mất khoảng 30 phút để chuyển mỗi tệp.

Tôi sử dụng scp, nhưng đôi khi nó bị treo - quá trình chuyển không bị lỗi, nó vẫn chạy, nhưng không có dữ liệu nào được chuyển nữa.

Vì vậy, tôi đang tìm kiếm một giải pháp tải lên "failafe", một giải pháp sẽ hoạt động ngay cả khi liên kết bị lỗi trong vài phút hoặc không đáng tin cậy.

Ý tưởng của tôi là:

1. chia tập tin lớn trong các phần nhỏ
2. tải lên các phần, với thời gian chờ và thử lại nếu thất bại

Câu hỏi:

• Có một công cụ sẵn sàng để thực hiện ý tưởng này? (không có nhu cầu cụ thể cho scp. có thể là ftp hoặc bất cứ điều gì khác)
• Có cách nào để phát hiện khi scp bị treo không? ((nghĩa là nó vẫn đang chạy, nhưng không truyền dữ liệu)

Bạn có thể sử dụng rsync để sao chép tệp của mình từ máy tính này sang máy tính khác. rsync có thể sử dụng ssh như vận chuyển cơ bản của nó. Kết hợp rsync --partialvới một tập lệnh như tập lệnh này để thử lại trong trường hợp lỗi mạng và bạn sẽ có thể di chuyển các tệp của mình ngay cả khi gặp lỗi mạng.

Một cách khác để làm điều đó là gắn kết hệ thống tệp từ xa trên máy tính cục bộ của bạn sshfs -o reconnect, sau đó chỉ cần cp (các) tệp. sshfs / Linux sẽ lo phần còn lại. Dựa trên một số thử nghiệm tôi đã làm hôm nay, đây có vẻ là nhiều chậm hơn so với rsync.

Cuối cùng, bạn có thể thiết lập VPN giữa hai máy. Điều này liên quan đến hầu hết các công việc, và một trong các giải pháp trên dễ dàng hơn nhiều, nhưng nó sẽ giải quyết vấn đề kết nối mạng không ổn định. Và như một số người đã lưu ý, điều này cũng có thể không ổn định. Nó có thể hoạt động nếu VPN rất tích cực trong việc thiết lập lại các kết nối, như OpenVPN, nhưng các giải pháp trên tốt hơn nhiều.