Linux sang Linux, chuyển 10 TB?

9

Tôi đã xem xét tất cả các câu hỏi tương tự trước đây, nhưng câu trả lời dường như ở khắp mọi nơi và không ai di chuyển nhiều dữ liệu (100 GB khác với 10 TB).

Tôi đã có khoảng 10 TB mà tôi cần để chuyển từ một mảng RAID sang một mảng khác, gigabit Ethernet, bách khoa toàn thư miễn phí, các hệ thống tệp XFS . Mối quan tâm lớn nhất của tôi là có sự chuyển đổi giữa chừng và không thể tiếp tục dễ dàng. Tốc độ sẽ tốt, nhưng đảm bảo chuyển là quan trọng hơn nhiều.

Thông thường tôi chỉ là tar & netcat, nhưng mảng RAID mà tôi chuyển đến đã rất dễ hỏng vào cuối và tôi cần có thể khôi phục và tiếp tục nếu nó giảm quá trình giữa chừng. Tôi có nên nhìn vào rsync ?

Nhìn vào điều này nhiều hơn một chút, tôi nghĩ rsync có thể quá chậm và tôi muốn tránh điều này mất 30 ngày hoặc hơn. Vì vậy, bây giờ tôi đang tìm kiếm đề xuất về cách theo dõi / tiếp tục chuyển tiền với netcat .

— mất tích
nguồn

Đôi khi tôi cần thực hiện chuyển tập tin lớn (Nhưng không phải 10TB;) rsync có nhiều cờ, một số trong số này có thể ảnh hưởng đến hiệu suất của việc chuyển tệp lớn (ví dụ: --checksum và --archive có thể làm bạn chậm lại. sẽ tạo ra sự khác biệt lớn khi chuyển 10TB.). Bất cứ ai cũng có thể đề xuất các tùy chọn tốt để giúp tối ưu hóa hiệu suất của việc truyền tệp lớn như vậy? Sẽ điều chỉnh --block-size=SIZEgiúp?

— Stefan Lasiewski

Có cách nào để loại bỏ ssh trên không?

— mất mã

1

thiết lập rsyncd vào cuối nhận của bạn? không cần ssh

— cpbills

3

Chạy một daemon rsync ở phía nhận cũng như máy khách ở phía gửi.

— Tạm dừng cho đến khi có thông báo mới.

2

Nếu bạn không thể thiết lập một daemon rsync ở một bên và bị kẹt với SSH, bạn có thể giảm chi phí mã hóa với mã hóa kém hơn như: rsync -avz -e 'ssh -c arcfour' SOURCE DEST

— David

14

vâng, rsync

bên ngoài lẻ bóng, các tính năng không đồng bộ DRBD đã xuất hiện gần đây.

— cagenut
nguồn

1

+1 cho Rupync. Vua chuyển giao hệ thống trên hệ thống linux.

— grufftech

+1, rsync (và đó là DeltaCopy đối tác Windows) là sự kết thúc của tất cả các máy chủ hiệu quả để sao chép tệp chung của máy chủ.

— Chris S

1

+1 cho rsync, nhưng tôi thêm rằng có thể nhanh hơn để thực hiện "cục bộ" qua giá trị NFS thay vì phát sinh phí giao thức rsync hoặc SSH.

— James Sneeringer

2

Không bao giờ đánh giá thấp băng thông của một toa xe đầy băng. 10TB sẽ khả thi với thiết bị NAS cấp tiêu dùng tương đối rẻ nếu bạn có thể chia nó thành các khối (giả sử là 2TB). Nếu đây là một lần thì quy trình bán thủ công có thể khả thi và NAS 2TB chỉ vài trăm đô la.

Nếu bạn cần một quy trình liên tục thì bạn có thể thiết lập RSYNC sau khi bạn thực hiện chuyển khoản ban đầu.

— Quan tâmOfTunbridgeWells
nguồn

Câu hỏi ban đầu đề cập rằng điều này đã qua một mạng cục bộ.

— Ladadadada

1

Điều này dường như quá chậm và / hoặc không đáng tin cậy cho các mục đích của OP.

— Mối quan tâmOfTunbridgeWells

2

Tôi đã phải làm loại nhiệm vụ này vài tháng trước. Tôi đã sử dụng rsync song song để tăng tốc quá trình. Nó phân tách các tệp sẽ được chuyển / đồng bộ hóa thành các khối và nó có thể được nối lại bất cứ lúc nào. Xem liên kết dưới đây cho kịch bản rsync song song.

https://gist.github.com/rcoup/5358786

— Pierre Bergdolt
nguồn

0

Bạn có thể thử thiết lập máy chủ FTP trên máy chủ với dữ liệu sẽ được sao chép và sử dụng máy khách FTP có "tiếp tục" ở đầu nhận. Tôi sử dụng máy chủ và máy khách Filezilla và tôi sử dụng tính năng "tiếp tục" của máy khách khá thường xuyên và nó luôn hoạt động mà không gặp trở ngại nào.

— jamesbtate
nguồn