Chuyển khoảng 300gb trong tệp từ máy chủ này sang máy chủ khác

Tôi có khoảng 200.000 tệp mà tôi đang chuyển đến một máy chủ mới ngày hôm nay. Tôi chưa từng làm bất cứ điều gì ở quy mô lớn như vậy trước đây và muốn nhận được một số lời khuyên về cách tôi nên đi về vấn đề này. Tôi đang di chuyển chúng giữa hai phân phối Centos 6 và chúng ở các địa điểm khác nhau trong nước. Tôi không có đủ dung lượng ổ cứng trên máy chủ gốc để sắp xếp tất cả các thư mục và tệp vào một tarball lớn, vì vậy câu hỏi của tôi là làm cách nào để chuyển tất cả các tệp này? rsync? Một số cách đặc biệt để sử dụng rsync? Bất kỳ đầu vào / đề xuất về cách làm nó sẽ là tuyệt vời.

Cảm ơn

EDIT: Đối với những người thắc mắc, tôi rất khuyến nghị sử dụng một screenkhi chạy một rsynclệnh lớn như thế này. Đặc biệt là khi điều gì đó ngớ ngẩn có thể xảy ra và bạn mất kết nối với máy chủ A mà bạn đang chạy rsynclệnh từ đó. Sau đó chỉ cần tháo màn hình và tiếp tục lại sau.

Chỉ cần đưa ra câu trả lời của Simon , rsynclà công cụ hoàn hảo cho công việc:

   Rsync  is  a  fast  and extraordinarily versatile file copying
   tool.  It can copy locally,  to/from  another  host  over  any
   remote  shell,  or to/from a remote rsync daemon.  It offers a
   large number of options  that  control  every  aspect  of  its
   behavior  and permit very flexible specification of the set of
   files to be copied.  It is famous for its delta-transfer algo‐
   rithm,  which reduces the amount of data sent over the network
   by sending only the differences between the source  files  and
   the  existing  files in the destination.  Rsync is widely used
   for backups and mirroring and as an improved copy command  for
   everyday use.

Giả sử bạn có quyền truy cập ssh vào máy từ xa, bạn sẽ muốn làm một cái gì đó như thế này:

rsync -hrtplu path/to/local/foo user@remote.server.com:/path/to/remote/bar

Điều này sẽ sao chép thư path/to/local/foomục /path/to/remote/barvào máy chủ từ xa. Một thư mục con mới có tên bar/foosẽ được tạo. Nếu bạn chỉ muốn sao chép nội dung của một thư mục, mà không tạo một thư mục có tên đó trên mục tiêu, hãy thêm dấu gạch chéo:

rsync -hrtplu path/to/local/foo/ user@remote.server.com:/path/to/remote/bar

Điều này sẽ sao chép nội dung của foo/vào thư mục từ xa bar/.

Một vài lựa chọn liên quan:

 -h,                         output numbers in a human-readable format 
 -r                          recurse into directories
 -t, --times                 preserve modification times
 -p, --perms                 preserve permissions
 -l, --links                 copy symlinks as symlinks
 -u, --update                skip files that are newer on the receiver
 --delete                    delete extraneous files from dest dirs
 -z, --compress              compress file data during the transfer
 -C, --cvs-exclude           auto-ignore files in the same way CVS does
 --progress                  show progress during transfer
 --stats                     give some file-transfer stats

Nó phụ thuộc vào tốc độ cần sao chép và tốc độ băng thông có sẵn.

Đối với kết nối mạng kém, hãy xem xét băng thông của một chiếc xe tải chứa đầy băng. (Đọc: gửi một ổ cứng 2,5 inch, hoặc tự lái nó ở đó. Ổ đĩa 300 gigabit nên dễ tìm).

Nếu nó ít thời gian quan trọng hoặc bạn có nhiều băng thông thì rsync là tuyệt vời. Nếu có lỗi, bạn chỉ có thể tiếp tục mà không sao chép lại các tệp trước đó.

[Chỉnh sửa] Tôi quên thêm rằng bạn có thể chạy rsync nhiều lần nếu dữ liệu của bạn được sử dụng trong quá trình sao chép.

Ví dụ:
1) Dữ liệu đang sử dụng. Rsync -> Tất cả dữ liệu được sao chép. Điều này có thể mất một thời gian.
2) Chạy lại rsync, chỉ các tệp đã thay đổi mới được sao chép. Điều này nên được nhanh chóng.

Bạn có thể làm điều này nhiều lần cho đến khi không có thay đổi hoặc bạn có thể thực hiện theo cách thông minh / an toàn bằng cách làm cho dữ liệu chỉ đọc trong khi sao chép. .

Tôi sẽ đi cho rsync! Tôi đang sử dụng nó để sao lưu máy chủ của mình sang máy chủ ngoại vi và nó hoạt động tốt. Thông thường có một vài MB để sao chép nhưng một số ngày nó lên tới 20-30GB và nó luôn hoạt động mà không gặp vấn đề gì.

rsync qua NFS sử dụng kết nối Gigabit sẽ mất gần 10h. Sẽ tốt hơn nếu sao chép dữ liệu trên ổ cứng và di chuyển chúng giữa máy chủ. Nếu bạn cần tạo một bản sao một-một của đĩa thực sự, hãy sử dụng dd hoặc một cái gì đó tương tự, để tạo hình ảnh thô của đĩa. Sử dụng ssh (scp) gây ra một chi phí rất lớn. Thử nghiệm thực nghiệm trên kết nối Gigabit. rsync rất tốt trong việc thực hiện đồng bộ hóa gia tăng giữa hai máy chủ được sử dụng trong HA hoặc trong chế độ sao lưu. Tôi đoán.

Lần đầu tiên sử dụng NFS và tar / unsar (NFS là giao thức nhanh nhất trong trường hợp này, tar để tiết kiệm băng thông mạng bằng cách sử dụng CPU nhiều hơn)

tar cf - * | ( cd /target; tar xfp -)

lần sau / s sử dụng rsync