Chuyển 10 TB tệp từ Hoa Kỳ sang trung tâm dữ liệu của Vương quốc Anh

96

Tôi đang di chuyển máy chủ của mình từ Mỹ đến Anh từ trung tâm dữ liệu này sang trung tâm dữ liệu khác. Chủ nhà của tôi nói rằng tôi sẽ có thể đạt được 11 megabyte mỗi giây.

Hệ điều hành là Windows Server 2008 ở cả hai đầu.

Kích thước tệp trung bình của tôi là khoảng 100 MB và dữ liệu được chia thành năm ổ 2 TB.

Điều gì sẽ là cách được đề nghị để chuyển các tập tin này?

FTP
SMB
Đồng bộ hóa / Robocopy
Khác?

Tôi không quá bận tâm về bảo mật vì dù sao đây cũng là các tệp công khai, nhưng tôi chỉ muốn một giải pháp có thể đẩy tốc độ truyền 11 MB / s đầy đủ để giảm thiểu tổng thời gian truyền.

file-transfer large-data

— Paul Hinett
nguồn

19

11 MB / s hay 11 Mb / s?

— wim

14

chuyển dữ liệu sang thẻ đục lỗ nhị phân và sử dụng chim bồ câu mang theo :)

— enterzero

9

Bạn nên cung cấp chi tiết. Bạn nghĩ sẽ mất bao nhiêu con chim bồ câu? Chỉ ra công việc của bạn.

— Evik James

18

@Evik Châu Âu hay Châu Phi?

— wim

8

Bên cạnh đó, Wolfram Alpha là cách thuận tiện nhất để thực hiện phép tính, "10 TB với tốc độ 11MB / s". wolframalpha.com/input/?i=10+TB+at+11MB%2Fs

— cá nóc

173

Thay vào đó, hãy lái những chiếc ổ cứng trên đại dương.

Với tốc độ 11 Mb / giây với mức sử dụng đầy đủ, bạn chỉ cần nhìn vào khoảng 90 ngày để chuyển 10 TB.

11 Mbps = 1.375 MBps = 116.015 GB / ngày .

10240 GB / 116.015 GB / ngày = ~ 88,3 ngày .

— Shane Madden
nguồn

42

+1 cho Sneakernet . Ngoài ra, bạn đã quên phí TCP / IP. Giống như hơn 100 ngày trong hoàn cảnh lý tưởng.

— Chris S

43

Một người đàn ông khôn ngoan đã từng nói "Đừng bao giờ đánh giá thấp băng thông của một toa xe ga đầy băng từ trên đường cao tốc". Phương trình này rất đúng và không thay đổi đáng kể bằng cách thay đổi toa xe ga cho một chiếc thuyền. ( bpfh.net/sysadmin/never-underestimate-bandference.html )

— Rob Moir

5

Tốt hơn là gửi băng, hoặc đĩa blueray, thay vì ổ đĩa. Nếu bạn đi với các ổ đĩa, hãy chắc chắn rằng bản gốc được giữ an toàn và có sẵn chỉ trong trường hợp. Tôi sẽ tự mình tìm kiếm các ổ đĩa (trừ khi tôi có ổ đĩa Ultrium 4) vì các đĩa blueray 10 TB = 410!

— Allen

9

Chỉ cần nhận ra rằng tôi đã gõ 11Mb / giây, tuy nhiên, điều tôi thực sự muốn nói là 11MB / s. Tôi cho rằng điều này tạo ra một sự khác biệt khá lớn, tính toán của tôi có khoảng 11 đến 14 ngày đại khái ... điều này có đúng không?

— Paul Hinett

18

vẫn tin rằng việc gửi một người giám sát với bản sao lưu 10TB trong khi đĩa chính thức vẫn hoạt động sau khi thiết lập xong, bạn có thể ăn trưa rsync để cập nhật máy chủ mới cho bất kỳ thay đổi nào. Bạn sẽ có máy của bạn và chạy trong khoảng một ngày.

— Loïc Faure-Lacroix

26

Tôi muốn nói rsync, với tốc độ 11 MB / giây, bạn sẽ xem xét 10-14 ngày và ngay cả khi bạn bị gián đoạn, rsync sẽ dễ dàng bắt đầu ở nơi nó dừng lại lần trước.

Với tốc độ 11 Mbps tôi sẽ gửi các đĩa cứng như đề xuất ở trên :)

— Lucas Kauffman
nguồn

1

Ước tính của bạn khác rất nhiều so với những gì người khác đã đăng (và tôi không biết ai đúng). Bạn có thể cung cấp phương pháp luận của bạn để đi đến những con số đó?

— John Gardeniers

9

Sự khác biệt phát sinh từ việc OP đánh lừa 11 Mbps khi thực tế anh ta có nghĩa là 11 MBps - nhanh hơn 8 lần. BTW, khởi động lại rsync 10 TB trong trường hợp bị gián đoạn có thể sẽ mất một lúc, phải không? Giờ, hay lâu hơn?

— Nông dân Frank

@FrankFarmer: tôi sẽ không lo lắng về việc khởi động lại rsync; Tôi giữ một bản sao ngoại vi ~ 20TB trên đường truyền không dây 30Mbps và khởi động lại nằm trong phạm vi giây. bản sao ban đầu mất vài tuần, nhưng cập nhật hàng đêm thường là vài giờ.

— Javier

@FrankFarmer - rsync dường như mở rộng rất tốt. Tôi có ~ 2TB so với đường dây ADSL1 nông thôn đã được kích hoạt bằng sneakernet, nhưng mất ~ 5 phút để rsync mỗi đêm nếu không có gì thay đổi.

— Flexo

6

rsync khởi động lại quy mô thời gian với số lượng tệp (chủ yếu theo statthời gian, theo kinh nghiệm của tôi), chứ không phải với tổng dữ liệu. Tôi sẽ không chờ đợi đáng kể (nhiều nhất là vài phút). Mặc dù kinh nghiệm của tôi với rsync đứng đầu ở mức dưới 5TB.

— derobert

15

Tất nhiên.

Ít nhất bạn có thể tiếp tục bất cứ lúc nào sau khi nghỉ ngơi, và nó không có bất kỳ đau đớn.

— Korjavin Ivan
nguồn

7

Hơn 3 tháng để sao chép với mức sử dụng 100%. Xin lỗi, nhưng đó là một cách khủng khiếp để chuyển nhiều dữ liệu đó.

— Chris S

Tôi phải đồng ý với @ChrisS, rsyncchỉ sử dụng để sao chép các tệp lớn không hiệu quả. Đối với công cụ của tôi, tôi đã kết thúc bằng cách sử dụng tarhơn netcathoặc sshcho chuyển khoản ban đầu. Nó nhanh hơn nhiều và bắt đầu chuyển ngay lập tức, trong khi rsyncsẽ quét tất cả các tệp trước tiên cần có thời gian. Nếu điều này bị gián đoạn bạn vẫn có thể sử dụng rsyncsau đó. Trong thực tế, đôi khi tôi vẫn làm điều này tarđể đảm bảo tất cả các quyền, tệp socket, v.v. đều chính xác.

— Martin Scharrer

1

Sau khi OP sửa lỗi, anh ta có kết nối ~ 100Mb chứ không phải 11Mb, rsync có ý nghĩa hơn nhiều. +1 cho người đầu tiên đề cập đến nó.

— Chris S

12

Không bao giờ đánh giá thấp băng thông của một toa xe đầy băng

- Truyền thống.

Trong trường hợp của bạn, đĩa hoặc băng được gửi bằng chuyển phát nhanh, nhưng nguyên tắc vẫn được áp dụng. Nếu bạn không quan tâm đến độ trễ, điều này sẽ rẻ hơn rất nhiều so với băng thông mạng để truyền 10TB dữ liệu trong bất kỳ khoảng thời gian hợp lý nào.

— Quan tâmOfTunbridgeWells
nguồn

Jeff Atwood chạy các con số trong một trong những bài viết Coding Horror cũ của mình .. codinghorror.com/blog/2007/02/the-economics-of-bandwidth.html

— tardate

10

Bạn nên sử dụng rsync. Nó sẽ nén dữ liệu và sao chép lại trước khi gửi. Nó cũng có thể tiếp tục chuyển một phần, điều này rất quan trọng đối với bất kỳ chuyển khoản lớn nào.

Có khả năng nó không chuyển 10 TB; nếu đó là nhật ký và văn bản và như vậy nó có thể dưới 1 TB; có lẽ cách dưới 1 TB.

Có những công cụ thực hiện công việc nén tốt hơn rsync và có thể tìm thấy nhiều kết quả khớp hơn. Bạn có thể sử dụng lrzip, vv

Có các loại dữ liệu cụ thể không nén tốt và không chứa các bản sao theo nghĩa đen - ví dụ: video và các phương tiện khác. Trong những trường hợp đó, FTP và rsync đang nỗ lực rất nhiều.

— Sẽ
nguồn

3

RSync sao chép dữ liệu? Tôi nghĩ rằng nó chỉ làm điều này ở cấp độ tập tin, có nghĩa là sự trùng lặp chủ yếu là vô dụng trong trường hợp này.

— devicenull

6

Tôi biết điều này đã được chấp nhận nhưng bạn đã cân nhắc việc đưa các đĩa của mình đến một trung tâm dữ liệu / nhà cung cấp / máy chủ lưu trữ nơi bạn có thể nhận được nhiều băng thông hơn chưa? Có thể bạn sẽ mất một số tiền nhưng sao chép 10240Gb vào đĩa sao lưu và gửi cũng sẽ tốn cả thời gian và tiền bạc (2 x tiền).

Ngoài ra, bạn sẽ chắc chắn rằng đĩa của bạn không bị hỏng trong vận chuyển.

— Mã thông báo
nguồn

Câu trả lời này khác với câu trả lời được chấp nhận như thế nào?

— Chris S

2

@Chris Câu trả lời này đề nghị vận chuyển các đĩa đến một đường ống lớn hơn trên cùng một lục địa.

— Alex Jasmin

5

11Mb / giây? Đây là một hạn chế khá lớn bạn có ở đây. Trong tình huống của bạn, tôi chỉ đơn giản là:

Sao chép dữ liệu
Nén nó
Thuê máy chủ ở cả hai đầu với băng thông ít nhất 10 lần (trong cùng một trung tâm dữ liệu hoặc ở đầu của bạn trong một trung tâm dữ liệu gần bạn).
Chuyển các tập tin
Áp dụng dữ liệu cho máy chủ mới.

Nếu bạn thực sự không có giải pháp nào để tăng băng thông ... thì việc vận chuyển một ổ đĩa vật lý sẽ nhanh hơn.

Từ kinh nghiệm đau đớn của tôi, ổ cứng có xu hướng bị hỏng trong thư ... Ổ đĩa flash USB là một giải pháp tốt hơn để truyền dữ liệu thường xuyên. Trong trường hợp của bạn, nó sẽ yêu cầu một vài trong số họ :) Vì vậy, hãy gửi 2 bản sao dữ liệu của bạn trên nhiều ổ đĩa cứng.

Xem xét lượng dữ liệu bạn có, bạn cũng có thể gửi các ổ đĩa từ mảng RAID 5 hoặc RAID 6 nếu bạn có cùng phần cứng / phần mềm ở phía bên kia để cắm ổ đĩa của bạn. Nhưng trong trường hợp đó hãy nhớ đánh dấu thứ tự các ổ đĩa của bạn. và số sê-ri của chúng để khi cấu hình lại, chúng không bị lẫn lộn.

— Chó sói
nguồn

1

xin lỗi, 11Mbps là một loại nhầm, nó là 11MB / s ... tôi đã đề cập đến một trong những ý kiến trên.

— Paul Hinett

4

Mặc dù tôi phải đồng ý với câu trả lời "gửi nó bằng ổ cứng" trong trường hợp này, đây là giải pháp sao chép tôi sử dụng khi tôi phải sao chép số lượng lớn tệp lần đầu tiên:

Mặc dù rsynctốt để giữ hai kho lưu trữ dữ liệu đồng bộ, nhưng nó giới thiệu khá nhiều chi phí không cần thiết cho việc chuyển ban đầu. Tôi đoán rằng cách nhanh nhất là tarvượt qua netcat. Trên trang web của người nhận, bạn cũng có thể sử dụng netcattrong chế độ nghe để chuyển dữ liệu đến trích xuất tar. Lợi ích là tarbắt đầu gửi ngay lập tức và netcatgửi nó dưới dạng luồng TCP đơn giản mà không cần thêm giao thức cấp cao hơn. Điều này sẽ được nhanh như nó được. Tuy nhiên, không đơn giản để có thể khởi động lại việc chuyển bị gián đoạn ở vị trí cuối cùng.

Cũng có thể dễ dàng nén dữ liệu cho việc chuyển bằng cách sử dụng các tartùy chọn phù hợp hoặc thêm một công cụ nén trong các đường ống. Lưu ý rằng netcatgửi ngày không được mã hóa. Trong trường hợp đây không phải là một tùy chọn, sshkết nối được mã hóa có thể được sử dụng thay thế ( tar <options> | ssh <target> -c 'tar -x <options>').

Nếu tất cả dữ liệu được truyền rsynccó thể được sử dụng để đảm bảo rằng tất cả các tệp đã được cập nhật trong thời gian đó được đồng bộ hóa. Ngoài ra, IIRC tarkhông tạo ra các socket sẽ bị mất theo cách khác, nhưng dù sao chúng không thực sự được sử dụng cho dữ liệu trung tâm dữ liệu.

— Martin Scharrer
nguồn

Nhược điểm là nó không chịu được sự

— can thiệp

3

Bạn đã xem xét IPoAC chưa?

Một con chim bồ câu đơn lẻ có thể có thể mang hàng chục gigabyte dữ liệu trong khoảng một giờ, trên cơ sở băng thông trung bình so sánh rất thuận lợi với các tiêu chuẩn ADSL hiện tại, ngay cả khi chiếm các ổ đĩa bị mất.

— wim
nguồn

21

Chim bồ câu sẽ bị mất tín hiệu ở khoảng cách được mô tả bởi OP.

— Roy Tinker

@RoyTinker Đã xóa IPoAC bằng cách sử dụng quy trình cửa sổ.

— JamesBarnett

3

Một lần nữa, đề nghị đầu tiên là gửi các ổ đĩa.

Đề xuất thứ hai là sử dụng rsync để rsyncd, không qua SSH. Tôi đã thử nhiều thứ và nó thường là nhanh nhất. Nhớ bật nén. Ngoài ra, hãy xem tăng hoặc giảm kích thước bộ đệm rsync để có tốc độ truyền tối ưu. Nó cũng có thể giúp tăng kích thước MTU của bạn . Điều này chỉ giúp nếu các bộ định tuyến trên đường không phân mảnh các gói của bạn. Có nhiều cách để xác định nếu họ làm.

Thật không may, không có thiết lập luôn luôn là tốt nhất. Bạn sẽ phải thử nghiệm để tìm ra những gì hoạt động tốt nhất trong tình huống của bạn.

— sjbotha
nguồn

2

Bạn đã đề cập đến các máy chủ đang chạy Windows 2008. Microsoft DFS có phù hợp không? Có một số phép thuật ở cấp thấp hơn cố gắng lấy càng nhiều băng thông ra khỏi kết nối càng tốt, và cũng có khả năng nén và khử trùng lặp (IIRC).

Xin lưu ý, ổ cứng, DVD hoặc BluRays sẽ nhanh hơn ... Tính toán của tôi là 11 ngày với đầy đủ 11 MB / s ...

— TiernanO
nguồn

1

Bạn có thể sử dụng một torrent cho việc này.

Tạo một torrent riêng ở một đầu và sử dụng máy khách ở đầu kia.

Mặc dù có mã hóa tại chỗ, bạn phải kiểm tra với yêu cầu của bạn.

— Dragos
nguồn

1

Mối quan hệ 1 đến 1 torrent không tốt hơn chuyển tệp 1 thành 1. Nếu có đường ống giới hạn giữa hai địa điểm, bạn cần nhiều máy gieo hạt trên các đường ống khác nhau, lý tưởng nhất là phân phối theo địa lý.

— Jeremy

@Jeremy - không tốt hơn hoặc kém hơn về mặt thông lượng. Nó có thể tốt hơn về độ tin cậy (tạm dừng / tiếp tục dễ dàng), điều này đối với kích thước xfer này có thể quan trọng

— Joel Coel