Cách tốt nhất để chuyển một tệp lớn qua liên kết WAN tốc độ cao, độ trễ cao là gì?

Cái này có vẻ liên quan đến cái này , nhưng nó hơi khác.

Có liên kết WAN này giữa hai trang web của công ty và chúng tôi cần chuyển một tệp rất lớn (Oracle dump, ~ 160 GB).

Chúng tôi đã có băng thông 100 Mbps đầy đủ (đã thử nghiệm), nhưng có vẻ như một kết nối TCP duy nhất không thể tối đa hóa do cách thức hoạt động của TCP (ACK, v.v.). Chúng tôi đã thử nghiệm liên kết với iperf và kết quả thay đổi đáng kể khi tăng Kích thước cửa sổ TCP: với cài đặt cơ bản, chúng tôi nhận được thông lượng ~ 5 Mbps, với WS lớn hơn, chúng tôi có thể đạt tới ~ 45 Mbps, nhưng không nhiều hơn thế. Độ trễ mạng là khoảng 10 ms.

Vì tò mò, chúng tôi đã chạy iperf bằng cách sử dụng nhiều hơn một kết nối và chúng tôi thấy rằng, khi chạy bốn trong số chúng, chúng thực sự sẽ đạt tốc độ ~ 25 Mbps mỗi lần, lấp đầy tất cả băng thông có sẵn; Vì vậy, khóa có vẻ là trong việc chạy nhiều chuyển đồng thời.

Với FTP, mọi thứ trở nên tồi tệ hơn: ngay cả với các cài đặt TCP được tối ưu hóa (Kích thước cửa sổ cao, MTU tối đa, v.v.), chúng tôi không thể nhận được hơn 20 Mbps trên một lần chuyển. Chúng tôi đã thử FTP một số tệp lớn cùng một lúc và thực sự mọi thứ đã tốt hơn rất nhiều so với khi chuyển một tệp duy nhất; nhưng sau đó thủ phạm đã trở thành I / O đĩa, bởi vì đọc và ghi bốn tệp lớn từ cùng một nút cổ chai rất sớm; Ngoài ra, chúng tôi dường như không thể chia tệp lớn đó thành các tệp nhỏ hơn và sau đó hợp nhất lại, ít nhất là trong thời gian có thể chấp nhận được (rõ ràng chúng tôi không thể dành thời gian ghép / trộn lại tệp một thời gian có thể so sánh với chuyển nó).

Giải pháp lý tưởng ở đây sẽ là một công cụ đa luồng có thể chuyển các khối khác nhau của tệp cùng một lúc; giống như các chương trình ngang hàng như eMule hoặc BitTorrent đã làm, nhưng từ một nguồn duy nhất đến một đích duy nhất. Lý tưởng nhất, công cụ sẽ cho phép chúng ta chọn sử dụng bao nhiêu kết nối song song và tất nhiên tối ưu hóa I / O đĩa để không nhảy (quá) điên cuồng giữa các phần khác nhau của tệp.

Có ai biết một công cụ như vậy?

Hoặc, có ai có thể đề xuất một giải pháp tốt hơn và / hoặc một cái gì đó chúng tôi đã không thử không?

Tái bút: Chúng tôi đã nghĩ đến việc sao lưu băng / đĩa và gửi nó đến đích; đó sẽ là biện pháp cực đoan của chúng tôi nếu WAN không cắt nó, nhưng, như AS Tanenbaum nói, "Đừng bao giờ đánh giá thấp băng thông của một toa xe ga đầy băng từ trên đường cao tốc."

Tìm kiếm "chuyển tập tin có độ trễ cao" mang lại rất nhiều lượt truy cập thú vị. Rõ ràng, đây là một vấn đề mà cả cộng đồng CompSci và cộng đồng thương mại đã đặt ra.

Một vài dịch vụ thương mại có vẻ phù hợp với dự luật:

• FileC Lúc sinh có các sản phẩm có thể truyền dữ liệu qua các mạng có độ trễ cao bằng cách sử dụng UDP hoặc nhiều luồng TCP. Họ cũng có rất nhiều tính năng khác (nén nhanh, chuyển delta, v.v.).

• Các fasp tập tin chuyển giao "công nghệ" từ Aspera dường như phù hợp với những hóa đơn cho những gì bạn đang tìm kiếm, là tốt.

Trong thế giới nguồn mở, dự án uftp có vẻ đầy hứa hẹn. Bạn không đặc biệt cần các khả năng phát đa hướng của nó, nhưng ý tưởng cơ bản là làm nổ một tệp cho người nhận, nhận NAK cho các khối bị bỏ lỡ khi kết thúc chuyển, và sau đó làm nổ các khối NAK (trễ, rửa, lặp lại) Nghe có vẻ như nó sẽ làm những gì bạn cần, vì không có ACK'ing (hoặc NAK'ing) từ người nhận cho đến khi quá trình truyền tệp hoàn tất một lần. Giả sử mạng chỉ là tiềm ẩn và không mất mát, điều này cũng có thể làm những gì bạn cần.

Đề xuất thực sự kỳ quặc này .. Thiết lập một máy chủ web đơn giản để lưu trữ tệp trên mạng của bạn (tôi đề nghị nginx, tình cờ), sau đó thiết lập một máy tính với firefox ở đầu bên kia và cài đặt tiện ích mở rộng DownThemAll .

Đây là một trình tăng tốc tải xuống hỗ trợ chunking và lắp ráp lại.
Bạn có thể chia mỗi lần tải xuống thành 10 phần để lắp ráp lại, và nó thực sự làm mọi thứ nhanh hơn!

(báo trước: Tôi chưa bao giờ thử nó trên bất kỳ thứ gì lớn tới 160 GB, nhưng nó hoạt động tốt với các tệp iso 20 GB)

Các UDT giao thông có lẽ là phương tiện giao thông phổ biến nhất cho truyền thông độ trễ cao. Điều này dẫn đến phần mềm khác của họ có tên là ngành / lĩnh vực "Hệ thống tệp phân tán hiệu suất cao và công cụ xử lý dữ liệu song song" có thể đáng để xem xét.

Câu trả lời của tôi là hơi muộn, nhưng tôi vừa tìm thấy câu hỏi này, trong khi tìm kiếm fasp. Trong quá trình tìm kiếm đó tôi cũng tìm thấy điều này: http://tsunami-udp.sourceforge.net/ , "Giao thức UDP của sóng thần".

Từ trang web của họ:

Giao thức truyền tệp không gian người dùng nhanh sử dụng điều khiển TCP và dữ liệu UDP để truyền qua các mạng đường dài tốc độ rất cao (G 1 Gbps và thậm chí 10 GE), được thiết kế để cung cấp nhiều thông lượng hơn khả năng với TCP trên cùng một mạng. mạng.

Về tốc độ, trang đề cập đến kết quả này (sử dụng liên kết giữa Helsinki, Phần Lan đến Bon, Đức qua liên kết 1GBit:

Hình 1 - chuyển khoản quốc tế qua Internet, trung bình 800 Mbit / giây

Nếu bạn muốn sử dụng một trình tăng tốc tải xuống, hãy xem lftp, đây là trình tăng tốc tải xuống duy nhất có thể làm một gương đệ quy, theo như tôi biết.

Các bbcp tiện ích từ trang rất phù hợp 'Làm thế nào để chuyển một lượng lớn dữ liệu qua mạng' có vẻ là giải pháp đơn giản nhất.