Sao chép các tệp lớn vào nhiều máy trên mạng LAN

9

Tôi có một vài tệp lớn mà tôi cần sao chép từ một máy Linux sang khoảng 20 máy Linux khác, tất cả trên cùng một mạng LAN càng nhanh càng khả thi. Những công cụ / phương pháp nào sẽ là tốt nhất để sao chép các tệp này, lưu ý rằng đây sẽ không phải là bản sao một lần. Những máy này sẽ không bao giờ được kết nối với Internet và bảo mật không phải là vấn đề.

Cập nhật:

Lý do cho câu hỏi này của tôi là vì (theo tôi hiểu) chúng tôi hiện đang sử dụng scpnối tiếp để sao chép các tệp vào mỗi máy và tôi đã được thông báo rằng điều này là "quá chậm" và một giải pháp thay thế nhanh hơn đang được tìm kiếm. Theo những gì tôi đã nói, cố gắng song song các scpcuộc gọi chỉ đơn giản là làm nó chậm hơn do tìm kiếm ổ cứng.

linux file-sharing

— Jonathan Callen
nguồn

Xác định "lớn". Hàng trăm MB / GB / TB / hơn?

— Janne Pikkarainen

Hiện tại, tổng số đang ở khoảng 4 GiB (được nén), mặc dù điều đó có thể phát triển trong tương lai.

— Jonathan Callen

Đó là, bằng mọi cách ngay cả trong năm 2011 - KHÔNG LỚN. Đưa ra một liên kết 1gigabit được chuyển đổi chính xác (tiêu chuẩn vào năm 2011) khá là cần thiết để hoàn thành. Chạy nó với một máy chủ 10g (không phải là hiếm ngay cả trong năm 2011) ... tốt;)

— TomTom

27

BitTorrent. Đó là cách Twitter triển khai một số thứ trong nội bộ.

http://engineering.twitter.com/2010/07/murder-fast-datacenter-code-depacts.html (liên kết lưu trữ web)

— mfinni
nguồn

3

Ngoài câu trả lời của tôi (mà tôi nghĩ sẽ làm tốt công việc, nếu bạn có thể thực hiện nó), câu trả lời dưới đây cho NFS là một câu hỏi rất hay. Một máy chủ NFS tốt sẽ lưu trữ các tệp để bạn không tiếp tục nhấn đĩa. Ngoài ra, với điều đó, không sao chép các tệp từ máy chủ đến máy khách. Khởi tạo nó từ máy khách và để bộ đệm của máy chủ NFS trợ giúp.

— mfinni

1

Hãy chắc chắn thử nó trong một môi trường phi sản xuất, trong phần trình bày họ nói (iirc) nó đã khiến một số thiết bị chuyển mạch phải chịu đựng rất nhiều trong lần triển khai đầu tiên vì số lượng gói được trao đổi.

— Shadok

1

@psusi Tại sao bạn nói nó phải gửi tất cả dữ liệu 20 lần? Khi các đồng nghiệp khác có một phần của tệp, họ có thể bắt đầu gửi các phần họ có cho chính các đồng nghiệp khác.

— Jonathan Callen

2

Vấn đề của OP không phải là mạng LAN, đó là đĩa trên máy chủ trung tâm.

— mfinni

1

@pSusi - multicast chắc chắn sẽ là một câu trả lời hợp lệ khác. Đăng nó như một câu trả lời, không phải là một gõ vào câu trả lời của tôi.

— mfinni

12

Còn về UFTP , nó sử dụng phát đa hướng để phân phối các tệp qua UDP cho nhiều khách hàng cùng một lúc. Không dành cho tất cả mọi người và tôi không phải là chuyên gia về nó nhưng có vẻ như nó làm những gì bạn muốn.

— Chopper3
nguồn

1

Disclaimer: Điều này sẽ yêu cầu thiết bị hỗ trợ phát đa hướng.

— dùng606723

Tôi đã hy vọng điều này sẽ được trên cùng một vlan - làm giảm tác động của việc sử dụng này.

— Chopper3

@ user606723: Không phải mọi thứ đều hiện đại sao? Có thể một số rác tiêu dùng không có, nhưng tôi đã không gặp phải bất cứ điều gì với phát đa hướng bị hỏng trong một thời gian. Quá nhiều sử dụng nó những ngày này. Tôi nghĩ Windows Active Directory thậm chí sử dụng multicast.

— Zan Lynx

Tôi thực sự không có kinh nghiệm với @ZanLynx này. Tôi biết rằng nhiều văn phòng / phòng máy tính sử dụng các thiết bị chuyển mạch tiêu dùng / không được quản lý ở bước nhảy cuối cùng. Làm thế nào những công tắc này sẽ hành xử với multicast?

— dùng606723

3

Bạn đã cố gắng sao chép dữ liệu này với rsync? Nếu bạn có 1 Gbit LAN hoặc nhanh hơn, sao chép trên 4 * 20 GB không phải là vấn đề.

Làm thế nào thường xuyên sẽ sao chép này? Có vấn đề gì không nếu phải mất vài phút để hoàn thành?

— Janne Pikkarainen
nguồn

3

scp-tsunami là cách!

https://code.google.com.vn/p/scp-tsunami/

Nó thường được sử dụng để phân phối hình ảnh đĩa trên các cụm ảo hóa, hiệu suất của nó gần bittorrent nhưng sử dụng đơn giản hơn để sử dụng hàng ngày.

— Giovanni Toraldo
nguồn

2

Thiết lập chia sẻ NFS và yêu cầu mỗi máy kéo từ kho lưu trữ tệp lớn này có thể là phương pháp nhanh nhất (NFS rất nhanh và có ít chi phí).

Bạn có thể thêm một hoặc hai NIC bổ sung vào máy chủ nguồn và liên kết chúng lại với nhau để cung cấp cho bạn thông lượng tốt hơn.

Việc thực hiện có thể là một công việc định kỳ đơn giản trên mỗi máy chủ mục tiêu tìm nạp một cách mù quáng từ chia sẻ mỗi giờ / ngày / bất cứ điều gì. Bạn cũng có thể thiết lập một daemon để thăm dò các tệp mới; bạn cũng có thể chỉ cần kịch bản một phiên điều khiển thành SSH (với các cặp khóa) vào mỗi hộp mục tiêu và hướng dẫn họ tìm nạp tệp khi bạn thực thi tập lệnh của mình.

— nước thịt
nguồn

1

Tôi tin rằng người tiền nhiệm của tôi đã cố gắng sử dụng NFS cho việc này và thấy rằng (vào thời điểm đó), bộ nhớ cache RAM không đủ lớn cho toàn bộ quá trình truyền, điều này khiến cho tải trên ổ cứng trở thành yếu tố giới hạn thay vì mạng tốc độ.

— Jonathan Callen