Chuyển 15TB tệp nhỏ

Tôi đang lưu trữ dữ liệu từ máy chủ này sang máy chủ khác. Ban đầu tôi bắt đầu một rsynccông việc. Phải mất 2 tuần để nó xây dựng danh sách tệp chỉ với 5 TB dữ liệu và một tuần nữa để truyền 1 TB dữ liệu.

Sau đó, tôi đã phải giết công việc khi chúng tôi cần một chút thời gian trên máy chủ mới.

Chúng tôi đã đồng ý rằng chúng tôi sẽ đưa nó lên vì có lẽ chúng tôi sẽ không cần phải truy cập lại. Tôi đã nghĩ đến việc chia nó thành khối 500 GB. Sau tarđó tôi sẽ sao chép nó xuyên suốt ssh. Tôi đã sử dụng tarvà pigznó vẫn còn quá chậm.

Có cách nào tốt hơn để làm điều đó? Tôi nghĩ rằng cả hai máy chủ đều trên Redhat. Máy chủ cũ là Ext4 và máy chủ mới là XFS.

Kích thước tệp nằm trong khoảng từ vài kb đến vài mb và có 24 triệu jpeg trong 5TB. Vì vậy, tôi đoán khoảng 60-80 triệu cho 15TB.

chỉnh sửa: Sau khi chơi với rsync, nc, tar, mbuffer và pigz trong một vài ngày. Nút thắt sẽ là đĩa IO. Vì dữ liệu bị sọc trên 500 đĩa SAS và khoảng 250 triệu jpeg. Tuy nhiên, bây giờ tôi đã biết về tất cả những công cụ tuyệt vời này mà tôi có thể sử dụng trong tương lai.

Tôi đã có kết quả rất tốt khi sử dụng tar, pigz(gzip song song) và nc.

Nguồn máy:

tar -cf - -C /path/of/small/files . | pigz | nc -l 9876

Máy đích:

Để giải nen:

nc source_machine_ip 9876 | pigz -d | tar -xf - -C /put/stuff/here

Để lưu trữ:

nc source_machine_ip 9876 > smallstuff.tar.gz

Nếu bạn muốn xem tốc độ chuyển chỉ cần thông qua pvsau pigz -d!

Tôi muốn sử dụng giải pháp rsync. Rsync hiện đại (3.0.0+) sử dụng danh sách tệp gia tăng, do đó không phải xây dựng danh sách đầy đủ trước khi chuyển. Vì vậy, khởi động lại nó sẽ không yêu cầu bạn thực hiện lại toàn bộ chuyển khoản trong trường hợp gặp sự cố. Chia tách chuyển trên mỗi thư mục cấp cao nhất hoặc thứ hai sẽ tối ưu hóa điều này hơn nữa. (Tôi sẽ sử dụng rsync -a -Pvà thêm --compressnếu mạng của bạn chậm hơn ổ đĩa.)

Thiết lập VPN (nếu là internet), tạo một ổ đĩa ảo có định dạng trên máy chủ từ xa (tạo thành ext4), gắn nó vào máy chủ từ xa, sau đó gắn nó vào máy chủ cục bộ (sử dụng giao thức cấp khối như iSCSI ) và sử dụng dd hoặc công cụ cấp khối khác để thực hiện chuyển. Sau đó, bạn có thể sao chép các tệp từ ổ đĩa ảo sang ổ đĩa thực (XFS) một cách thuận tiện.

Hai lý do:

1. Không có hệ thống tập tin, đó là thủ phạm hiệu suất chính
2. Không tìm kiếm, bạn đang xem đọc / ghi tuần tự ở cả hai bên

Nếu máy chủ cũ đang ngừng hoạt động và các tệp có thể ngoại tuyến trong vài phút thì thường là nhanh nhất chỉ cần rút các ổ đĩa ra khỏi hộp cũ và cáp chúng vào máy chủ mới, gắn chúng (quay lại trực tuyến ngay bây giờ) và sao chép các tệp đến các máy chủ mới đĩa gốc.

Sử dụng mbuffer và nếu nó nằm trên một mạng an toàn, bạn có thể tránh bước mã hóa.

(Nhiều câu trả lời khác nhau có thể hoạt động. Đây là một câu trả lời khác.)

Tạo danh sách tệp với find -type f(việc này sẽ hoàn thành sau vài giờ), chia nó thành các phần nhỏ và chuyển từng đoạn bằng cách sử dụng rsync --files-from=....

Bạn đã xem xét sneakernet? Với điều đó, tôi có nghĩa là chuyển tất cả mọi thứ vào cùng một ổ đĩa, sau đó di chuyển vật lý ổ đĩa đó qua.

khoảng một tháng trước, Samsung đã tiết lộ một ổ đĩa 16 TB (về mặt kỹ thuật, đó là 15,36 TB), cũng là một ổ SSD: http://www.theverge.com/2015/8/14/9153083/samsung-worlds-largest-hard -drive-16tb

Tôi nghĩ rằng ổ đĩa này sẽ làm điều này. Bạn vẫn phải sao chép tất cả các tệp, nhưng vì bạn không có độ trễ mạng và có thể có thể sử dụng SATA hoặc một kỹ thuật nhanh tương tự, nên nó sẽ nhanh hơn rất nhiều.

Nếu có bất kỳ cơ hội nào để có được tỷ lệ thành công cao khi bị trùng lặp, tôi sẽ sử dụng một cái gì đó như borgbackup hoặc Attic.

Nếu không, hãy kiểm tra giải pháp netcat + tar + pbzip2 , điều chỉnh các tùy chọn nén theo phần cứng của bạn - kiểm tra nút cổ chai (CPU? Mạng là gì? IO?). Pbzip2 sẽ trải dài trên tất cả các CPU, cho hiệu năng tốt hơn.

Bạn đang sử dụng RedHat Linux, vì vậy điều này sẽ không áp dụng, nhưng như một tùy chọn khác:

Tôi đã thành công lớn khi sử dụng ZFS để giữ hàng triệu tệp vì inodes không phải là vấn đề.

Nếu đó là một tùy chọn cho bạn, thì bạn có thể chụp ảnh nhanh và sử dụng zfs để gửi các bản cập nhật gia tăng. Tôi đã có rất nhiều thành công khi sử dụng phương pháp này để chuyển cũng như lưu trữ dữ liệu.

ZFS chủ yếu là một hệ thống tập tin Solaris, nhưng có thể được tìm thấy trong illumos (ngã ba mã nguồn mở của SunS OpenSolaris). Tôi biết cũng đã có một số may mắn khi sử dụng ZFS trong BSD và Linux (sử dụng FUSE?) - nhưng tôi không có kinh nghiệm về việc thử nó.

Bắt đầu một rsyncdaemon trên máy mục tiêu. Điều này sẽ tăng tốc quá trình chuyển giao rất nhiều.

Bạn có thể làm điều này chỉ với tar và ssh, như thế này:

tar zcf - <your files> | ssh <destination host> "cat > <your_file>.tar.gz"

Hoặc, nếu bạn muốn giữ các tệp riêng lẻ:

tar zcf - <your files> | ssh <destination host> "tar zxf -"