Cải thiện tốc độ truyền tệp lớn qua liên kết độ trễ cao

Vì vậy, gần đây tôi có nhu cầu lấy một tập tin lớn qua internet từ một trong các văn phòng của chúng tôi ở nước ngoài. Cả hai văn phòng đều có các liên kết sợi 50Mbit theo cả hai hướng, nhưng thời gian khứ hồi là khủng khiếp và thay đổi từ khoảng 450ms vào một ngày tốt và 750ms trên một crap.

Ban đầu, tôi đã thử kéo tệp qua kết nối VPN nhưng sau một vài lần chuyển thất bại (smb thực sự hút các liên kết chậm) và tốc độ tối đa khoảng 128kBps, một google nhanh chóng cho thấy tôi đang chạy với các vấn đề mở rộng cửa sổ TCP.

Kể từ đó, tôi đã đẩy tệp thông qua một dịch vụ loại đám mây riêng thương mại, giúp đưa tệp qua đây nhanh hơn, vì vậy những điều sau đây gây tò mò hơn bất kỳ điều gì khác.

Thêm vào niềm vui, là việc truy cập internet ở cả hai đầu đều thông qua proxy http. Tôi có, tuy nhiên, có quyền quản trị trên máy ở cả hai đầu.

Làm thế nào bạn sẽ đi về tốc độ tốt hơn?

Những điều tôi đã thử:

1) SFTP đơn giản giữa hai máy ảo linux, sử dụng nút chai để đột nhập qua proxy http và trung gian thứ ba để kết nối hai đầu với nhau. Tốc độ đạt được: khoảng 600kBps.

2) SFTP nhưng sử dụng OpenSSH được vá bằng HPN-SSH. Corkscrew và cấu hình trung gian giống như 1). Ít nếu cải thiện tốc độ.

3) Theo 2 nhưng sử dụng LFTP pget -c -n 10để phá vỡ chuyển thành khối. Đây là mức tốt nhất cho đến nay, nhìn thấy 3,5 MBps ...

Chào mừng tất cả các cải tiến.

Ngày nay, tôi đang giải quyết các giao dịch chuyển tiền qua các liên kết đường dài và độ trễ cao hơn bằng cách gói rsync qua UDP, sử dụng UDR làm phương tiện vận chuyển. UDR sử dụng UDT , được mô tả là:

UDT là một giao thức truyền dữ liệu mức ứng dụng dựa trên UDP đáng tin cậy cho các ứng dụng chuyên sâu dữ liệu phân tán trên các mạng tốc độ cao trên diện rộng. UDT sử dụng UDP để truyền dữ liệu số lượng lớn với cơ chế kiểm soát độ tin cậy và kiểm soát tắc nghẽn. Giao thức mới có thể truyền dữ liệu với tốc độ cao hơn nhiều so với TCP. UDT cũng là một khung cấu hình cao có thể chứa các thuật toán điều khiển tắc nghẽn khác nhau.

Điều này vô hiệu hóa mã hóa theo mặc định, đây là điều quan trọng tôi cần khi tôi vá HPN-SSH , nhưng cách tiếp cận UDP đã giúp ích khá nhiều. Lợi ích chính cho giải pháp UDR / UDP là chức năng lệnh không thay đổi nhiều. Bạn kết thúc việc chuẩn bị lệnh rsync với udr.

udr rsync -avP --stats --delete --inplace /data/ mir1:/data/

Xem thêm: Khả năng tối ưu hóa mạng WAN cho lưu lượng SSH

Tôi đã có cùng một vấn đề tại $ Lastjob.

Ở trong cơ sở hạ tầng của riêng tôi, tôi chưa bao giờ tìm thấy giải pháp nào tốt hơn so với LFTP.

Nếu bạn có thể biện minh cho chi phí, bạn có thể nhận các thiết bị tăng tốc mạng WAN. Về cơ bản, chúng biến các yêu cầu của bạn thành các khối lớn hơn nhiều, do đó làm giảm đáng kể độ chói giữa 2 trang web. Riverbed có lẽ là lựa chọn được biết đến nhiều nhất ở đó, nhưng IIRC cũng có một mô-đun cho các bộ định tuyến Juniper để làm điều đó. Tôi không biết bất kỳ tùy chọn FLOSS nào vào lúc này.

Tôi thực sự tìm thấy tùy chọn tốt nhất là Dropbox et al, nhưng điều đó có thể không được bạn chấp nhận.