Ghép kênh ngược để tăng tốc độ truyền tệp

Tôi đã gửi một lượng lớn dữ liệu từ máy này sang máy khác. Nếu tôi gửi bằng rsync (hoặc bất kỳ phương thức nào khác), nó sẽ đạt tốc độ ổn định 320kb / giây. Nếu tôi thực hiện hai hoặc ba lần chuyển tiền cùng một lúc, mỗi lần chuyển sẽ ở mức 320 và nếu tôi thực hiện bốn lần cùng một lúc, họ sẽ tối đa hóa liên kết.

Tôi cần có khả năng gửi dữ liệu nhanh nhất có thể, vì vậy tôi cần một công cụ có thể thực hiện ghép kênh ngược với chuyển tập tin. Tôi cần một giải pháp chung, vì vậy việc chạy tách trên máy nguồn và kết hợp chúng ở đầu kia là không thực tế. Tôi cần điều này để làm việc một cách tự động.

Có một công cụ làm điều này, hoặc tôi cần phải làm cho riêng mình? Người gửi là CentOS, người nhận là FreeBSD.

Bằng chứng tất cả cộng lại - Tôi trình bày 'chén thánh' của các lệnh gương từ xa. Cảm ơn davr cho lftplời đề nghị.

lftp -c "mirror --use-pget-n=10 --verbose sftp://username:password@server.com/directory" 

Ở trên sẽ phản chiếu đệ quy một thư mục từ xa, chia mỗi tệp thành 10 luồng khi nó chuyển!

Có một vài công cụ có thể hoạt động.

• LFTP - hỗ trợ FTP, HTTP và SFTP. Hỗ trợ sử dụng nhiều kết nối để tải xuống một tệp. Giả sử bạn muốn chuyển một tập tin từ remoteServer sang localServer, cài đặt LFTP trên localServer và chạy:

  lftp -e 'pget -n 4 sftp://userName@remoteServer.com/some/dir/file.ext'

  '-N 4' là có bao nhiêu kết nối sử dụng song song.

• Sau đó, có nhiều công cụ 'tăng tốc tải xuống', nhưng chúng thường chỉ hỗ trợ HTTP hoặc FTP, mà bạn có thể không muốn phải thiết lập trên máy chủ từ xa. Một số ví dụ là Axel , aria2 và ProZilla

Nếu bạn có ít và sử dụng tệp lớn lftp -e 'mirror --parallel=2 --use-pget-n=10 <remote_dir> <local_dir>' <ftp_server>: bạn sẽ tải xuống 2 tệp với mỗi tệp được chia thành 10 phân đoạn với tổng số kết nối 20 ftp đến <ftp_server>;

Nếu bạn có số lượng lớn tệp nhỏ, thì hãy sử dụng lftp -e 'mirror --parallel=100 <remote_dir> <local_dir>' <ftp_server>: bạn sẽ tải xuống song song 100 tệp mà không cần phân đoạn. Tổng cộng có 100 kết nối sẽ được mở. Điều này có thể làm mất các máy khách khả dụng trên máy chủ hoặc có thể khiến bạn bị cấm trên một số máy chủ.

Bạn có thể sử dụng --continueđể tiếp tục công việc :) và -Rtùy chọn tải lên thay vì tải xuống (sau đó chuyển thứ tự đối số sang <local_dir> <remote_dir>).

Bạn có thể điều chỉnh cài đặt TCP của mình để tránh sự cố này, tùy thuộc vào nguyên nhân gây ra giới hạn 320KB / giây cho mỗi giới hạn kết nối. Tôi đoán là nó không rõ ràng giới hạn tốc độ trên mỗi kết nối của ISP. Có hai thủ phạm có khả năng gây ra sự tiết lưu:

1. Một số liên kết giữa hai máy được bão hòa và thả các gói.
2. Các cửa sổ TCP đã bão hòa vì sản phẩm trễ băng thông quá lớn.

Trong trường hợp đầu tiên, mỗi kết nối TCP sẽ cạnh tranh bình đẳng trong điều khiển tắc nghẽn TCP tiêu chuẩn. Bạn cũng có thể cải thiện điều này bằng cách thay đổi các thuật toán điều khiển tắc nghẽn hoặc bằng cách giảm lượng backoff.

Trong trường hợp thứ hai, bạn không bị giới hạn bởi mất gói. Thêm kết nối bổ sung là một cách thô để mở rộng tổng kích thước cửa sổ. Nếu bạn có thể tự tăng kích thước cửa sổ, vấn đề sẽ biến mất. (Điều này có thể yêu cầu mở rộng cửa sổ TCP nếu độ trễ kết nối đủ cao.)

Bạn có thể cho biết cửa sổ cần lớn đến mức nào bằng cách nhân thời gian "ping" của chuyến đi khứ hồi với tổng tốc độ kết nối. 1280KB / s cần 1280 (1311 cho 1024 = 1K) byte mỗi mili giây của chuyến đi khứ hồi. Một bộ đệm 64K sẽ được tối đa hóa ở độ trễ khoảng 50 ms, khá điển hình. Một bộ đệm 16K sau đó sẽ bão hòa khoảng 320KB / s.

Dữ liệu của bạn có cấu trúc như thế nào? Một vài tập tin lớn? Một vài thư mục lớn? Bạn có thể sinh ra nhiều phiên bản rsync trên các nhánh cụ thể của cây thư mục của bạn.

Tất cả phụ thuộc vào cách dữ liệu nguồn của bạn được cấu trúc. Có hàng tấn công cụ unix để cắt, xúc xắc và tập hợp lại các tập tin.

Nếu bạn có thể thiết lập đăng nhập ssh không mật khẩu, thì điều này sẽ mở 4 kết nối scp đồng thời (-n) với mỗi kết nối xử lý 4 tệp (-L):

tìm thấy . -type f | xargs -L 4 -n 4 /tmp/scp.sh user @ host: path

Tệp /tmp/scp.sh:

#!/bin/bash

#Display the help page
function showHelp()
{
    echo "Usage: $0 <destination> <file1 [file2 ... ]>"
}

#No arguments?
if [ -z "$1" ] || [ -z "$2" ]; then
    showHelp
    exit 1
fi

#Display help?
if [ "$1" = "--help" ] || [ "$1" = "-h" ]; then
    showHelp
    exit 0
fi

#Programs and options
SCP='scp'
SCP_OPTS='-B'
DESTINATION="$1";shift;

#Check other parameters
if [ -z "$DESTINATION" ]; then
    showHelp
    exit 1
fi

echo "$@"

#Run scp in the background with the remaining parameters.
$SCP $SCP_OPTS $@ $DESTINATION &

Hãy thử sắp xếp tất cả các tệp trên inode (find / mydir -type f -print | xargs ls -i | sort -n) và chuyển chúng với ví dụ cpio qua ssh. Điều này sẽ tối đa hóa đĩa của bạn và làm cho mạng bạn bị nghẽn cổ chai. Nhanh hơn thế, thật khó để đi qua mạng.

Tôi biết một công cụ có thể chuyển tập tin trong khối. Công cụ này được gọi là gói / cổng 'rtorrent' có sẵn trên cả hai máy chủ;) Các máy khách BitTorrent thường dành không gian đĩa trước khi chuyển và các đoạn được ghi trực tiếp từ ổ cắm vào đĩa. Ngoài ra, bạn sẽ có thể xem lại TẤT CẢ các trạng thái chuyển khoản trong một màn hình hình ảnh đẹp.

Bạn có thể tạo các tập lệnh bash đơn giản để tự động tạo tập tin "* .torrent" và ssh một lệnh cho máy từ xa để nó tải xuống. Điều này có vẻ hơi xấu, nhưng tôi không nghĩ rằng bạn sẽ tìm thấy bất kỳ giải pháp đơn giản nào mà không phát triển :)

FTP sử dụng nhiều kết nối để tải xuống. Nếu bạn có thể thiết lập kênh bảo mật cho FTP qua VPN hoặc FTP qua SSH , bạn sẽ có thể tối đa hóa liên kết mạng của mình. (Lưu ý rằng những cân nhắc đặc biệt là bắt buộc đối với FTP qua SSH - xem liên kết.)

FTPS (FTP qua SSL) cũng có thể làm những gì bạn cần.

Bạn cũng có thể sử dụng ứng dụng khách SFTP hỗ trợ nhiều kết nối, nhưng tôi không chắc liệu SFTP có hỗ trợ nhiều kết nối cho một tệp không. Điều này sẽ làm những gì bạn cần hầu hết thời gian, nhưng có thể không cung cấp cho bạn thông lượng tối đa khi bạn chỉ phải chuyển một tệp lớn.

Giải pháp 1: Tôi không chắc liệu điều này có thực tế trong trường hợp của bạn không, nhưng bạn có thể tạo một kho lưu trữ được kéo dài (ví dụ: một tarfile được chia thành các phần hoặc một kho lưu trữ 7zip được kéo dài), sau đó sử dụng nhiều phiên bản rsync để gửi chúng mạng và tập hợp lại / giải nén chúng ở phía bên kia. Bạn có thể viết một tập lệnh có mục đích chung có các đối số là thư mục sẽ được chuyển và số lượng kết nối sẽ sử dụng. Nhược điểm rõ ràng là bạn sẽ cần gấp đôi dung lượng trống ở cả hai bên và sẽ có thêm chi phí lưu trữ / giải nén các tệp ở cả hai đầu.

Giải pháp 2: một giải pháp tốt hơn sẽ là viết một tập lệnh hoặc chương trình chia cây thư mục lớn thành các cây con dựa trên kích thước, sau đó sao chép các cây con đó song song. Nó có thể đơn giản hóa mọi thứ nếu bạn sao chép toàn bộ cấu trúc thư mục (không có tệp) trước.

Bạn có hai máy chạy trong một môi trường đáng tin cậy? Bạn có thể thử netcat . Về phía máy chủ:

tar -czf - ./yourdir | nc -l 9999

và trên máy khách:

nc your.server.net 9999 > yourdir.tar.gz

Bạn có thể có kết nối máy khách sử dụng đường hầm ssh:

ssh -f -L 23333:127.0.0.1:9999 foo@your.server.net sleep 10; \
    nc 127.0.0.1 23333 > yourdir.tar.gz

Thậm chí toàn bộ phân vùng có thể được di chuyển theo cách này:

dd if=/dev/sda1 | gzip -9 | nc -l 9999

và trên máy khách:

nc your.server.net 9999 > mysda1.img.gz

.

Ghi chú

netcat không phải là công cụ chuyển tiền an toàn nhất hiện có, nhưng trong môi trường phù hợp có thể nhanh chóng vì nó có chi phí thấp như vậy.

HowtoForge có một trang ví dụ tốt .