Đẩy tập tin lớn lên hơn 500 máy tính

24

Tôi làm việc với một nhóm để quản lý 500-600 máy tính Windows 7 được thuê cho một hội nghị hàng năm. Chúng tôi có một lượng lớn dữ liệu cần được đồng bộ hóa với các máy tính này, tối đa 1 TiB. Các máy tính được chia thành các phòng và kết nối thông qua các công tắc gigabit không được quản lý. Chúng tôi chuẩn bị các máy tính này trước thời hạn với cài đặt và cấu hình Windows, cộng với bất kỳ tệp nào chúng tôi có sẵn trước khi chúng tôi gửi hình ảnh cơ sở để sao chép bởi công ty cho thuê. Hàng năm, chúng tôi có cách tiếp cận người thuyết trình trên trang web với nhiều hợp đồng dữ liệu cần được đẩy vào phòng mà họ sẽ trình bày. Đôi khi, họ chỉ có một vài tệp có kích thước nhỏ, chẳng hạn như slide PDF, nhưng có thể đôi khi lớn hơn nhiều> 5 GiB.

Chiến lược hiện tại của chúng tôi để đẩy các tệp này là sử dụng các tập lệnh bó và RoboCopy. Đối với các lần đẩy lớn, chúng tôi thực sự sử dụng máy khách BitTorrent để tạo tệp torrent và sau đó chúng tôi sử dụng RoboCopy theo đợt để đẩy torrent vào một thư mục trên các máy từ xa đang được giám sát bởi máy khách BT đã cài đặt. Thông thường, dữ liệu này cần được đẩy ngay lập tức với một cửa sổ thời gian nhỏ. Chúng tôi có một số máy móc trong phòng điều khiển giống hệt với các máy trên sàn mà chúng tôi sử dụng cho các lần đẩy này.

Thỉnh thoảng chúng tôi có nhu cầu thực hiện một chương trình trên các máy từ xa và hiện tại chúng tôi sử dụng batch và PSexec để xử lý tác vụ này.

Chúng tôi rất thích có thể đáp ứng những cú đẩy vào phút cuối này với "xin lỗi, lỗi của bạn", nhưng điều đó sẽ không xảy ra. Phương pháp BT đã cho phép chúng tôi có thời gian phản hồi nhanh hơn nhiều, nhưng toàn bộ quá trình lô có thể trở nên lộn xộn khi có nhiều công việc được đẩy. Chúng tôi sử dụng Enterprise Ghost cho các quy trình khác và nó không hoạt động tốt ở quy mô lớn này, cộng với nó thực sự khá tốn kém cho một nhiệm vụ một năm một lần như thế này.

EDIT: Có một yêu cầu khó khăn là các máy từ xa trên sàn đang chạy Windows. Các máy điều khiển không có yêu cầu hệ điều hành cứng. Tôi thực sự muốn tránh xa Multicast vì sự phức tạp với các bộ định tuyến ngược dòng. Multicast hoặc BitTorrent là cách tốt hơn để thực hiện điều này? Có giao thức nào khác có thể hoạt động tốt hơn không?

— WMIF
nguồn

3

Như một câu hỏi được viết tốt, tôi cảm thấy khó chịu khi nói rằng Câu hỏi mua sắm không có chủ đề trên bất kỳ trang web Stack Exchange nào . Xem Q & A khó, hãy đi Mua sắm và Câu hỏi thường gặp để biết thêm chi tiết.

— Chris S

I would really like to stay away from Multicast because of complications with upstream routers.bạn có thể giải thích tại sao?

— Zoredache

2

Thành thật ngoài việc đào một giải pháp phát đa hướng, quy trình BitTorrent và PSExec tự trồng của bạn nghe có vẻ tốt nhất về những gì bạn có thể làm. Bạn có thể muốn bọc một số PowerShell xung quanh nó vì mục đích đẹp / tự động hóa, nhưng đó là về gợi ý tốt nhất tôi có thể cung cấp cho bạn ...

— voretaq7

@ Zoredache- Thành thật mà nói, một phần là do tôi không có đủ kinh nghiệm với phát đa hướng. Tôi đã xử lý Ghost và multicast, và thực sự không có kết quả tốt. Thiết bị ngược dòng thuộc về cơ sở chúng tôi hợp đồng và chúng tôi đã xử lý một số nhóm CNTT khá khó khăn tại một số địa điểm. Tôi sẽ không mong đợi bất kỳ nhân viên nào của họ thậm chí biết multicast là gì.

— WMIF

@ voretaq7- Tôi đã cân nhắc việc đặt một giao diện trên cấu trúc của chúng tôi, nhưng tôi sẽ gặp khó khăn khi thực hiện nó trong powershell. Thật khó khăn cho tôi khi học PS, chủ yếu là vì đó là hành vi rất khác với các ngôn ngữ có cấu trúc chặt chẽ hơn. Nếu tôi đặt một giao diện trên nó, rất có thể nó sẽ ở C #.

— WMIF

12

Bạn thực sự muốn có một Chương trình truyền tệp đa luồng : UFTP , với tài liệu phong nha và các phần mở rộng kiểu proxt cho truyền tải NAT / bộ định tuyến.

— Chris S
nguồn

Tôi vẫn đang xem qua các tài liệu cho liên kết bạn đưa ra, nhưng tôi chưa thấy bất kỳ đề cập nào về các công cụ phát đa hướng cấp thấp hơn. Ý tôi là, điều này vẫn dựa vào điểm hẹn phát đa hướng được thiết lập trong một số bộ định tuyến lên chuỗi? Tôi đang dựa vào vị trí để cung cấp cổng, vì vậy tôi không có bộ định tuyến trung tâm của riêng mình có thể cung cấp chức năng này. UFTP có cách nào để mô phỏng điều đó trong phần mềm không?

— WMIF

Đây là loại kết quả tôi thường nhận được khi xử lý đa tuyến và tại sao tôi tuyên bố rằng tôi muốn tránh xa nó. serverfault.com/questions/56487/

— Mạnh

Tôi không quen thuộc với phần mềm hoặc phần cứng của câu hỏi đó, nhưng tôi chưa gặp vấn đề như thế trong các thiết lập của mình. Multicast sẽ chạy ở tốc độ của máy khách chậm nhất, vì vậy nếu bạn có "tầng" tốc độ máy khách khác nhau, bạn có thể muốn chạy nhiều phiên phát đa hướng cho mỗi tầng (mặc dù không ảnh hưởng đến thời gian hoàn thành cuối cùng, chỉ cho phép máy tính nhanh hơn kết thúc sớm hơn). Các bộ chuyển mạch và bộ định tuyến trung gian phải hỗ trợ phát đa hướng, proxy có thể giảm thiểu đến một mức độ nào đó, nhưng nếu bạn muốn hiệu suất, bạn sẽ cần một cơ sở hạ tầng mạng đáng tin cậy / có khả năng.

— Chris S

Các công tắc liên quan đến cơ sở hạ tầng của câu hỏi này đều không được quản lý. Các bộ định tuyến sẽ khác nhau cho từng vị trí và tôi không thể đảm bảo chúng hỗ trợ phát đa hướng. Có cách nào để tôi có thể đặt bộ định tuyến của mình sang một bên, nhưng vẫn liên quan đến phần phát đa hướng của nó không? Tôi hỏi bởi vì tôi không nghĩ rằng nó có thể.

— WMIF

Quản lý không ảnh hưởng trực tiếp đến hỗ trợ chuyển đổi cho phát đa hướng. Tất cả các bộ chuyển mạch Ethernet 1GB được yêu cầu để hỗ trợ Multicast (mặc dù các bộ chuyển mạch cũ và đặc biệt rẻ tiền thực hiện nó dưới dạng phát sóng, giúp hoàn thành công việc); Các thiết bị chuyển mạch cũ hơn thường làm điều này rồi. Việc thiếu hỗ trợ bộ định tuyến là lý do tại sao bạn cần thiết lập proxy (một cho mỗi phân đoạn mạng bị cô lập đa hướng). Rõ ràng sử dụng các bộ định tuyến hỗ trợ phát đa hướng sẽ là dễ nhất, nhưng việc định cấu hình proxy không phải là khủng khiếp (trừ khi có một số lượng lớn trong số chúng).

— Chris S

5

Bạn có thể muốn xem xét giết người

Murder là phương pháp sử dụng Bittorrent để phân phối tệp đến một lượng lớn máy chủ trong môi trường sản xuất. Điều này cho phép triển khai nhanh và có thể mở rộng trong môi trường hàng trăm đến hàng chục nghìn máy chủ nơi các hệ thống phân phối tập trung sẽ không hoạt động

.

Kẻ giết người đã / được phát triển bởi những người ở twitter và họ đang sử dụng nó hàng ngày để phân phối các tệp.

— Jens Timmerman
nguồn

4

Một giải pháp mới có thể đã xuất hiện: BitTorrent Sync

Chỉnh sửa sau: Trên thực tế những ngày này tôi có thể muốn giới thiệu trợ lý git-annex hoặc đồng bộ hóa nhưng có nhiều lựa chọn thay thế

— ptman
nguồn

Tôi nghĩ không chỉ là một cái khác mà còn rất tốt trong trường hợp sử dụng này!

— Argeman

Tôi đồng ý. Tôi tìm thấy điều này trên /. và tôi hiện đang thiết lập một số kịch bản thử nghiệm để xem liệu nó có hoạt động tốt như âm thanh không.

— WMIF

Tôi vừa thực hiện một thử nghiệm quy mô lớn với BT Sync và phát hiện ra rằng nó sử dụng 239.192.0.0 cho lưu lượng phát đa hướng. Tôi không có quyền kiểm soát cơ sở hạ tầng mạng nên tôi không thể phân tích đầy đủ, nhưng điều này gây ra sự gia tăng đáng chú ý trong lưu lượng truy cập internet đi. Kết hợp với một số vấn đề không đồng bộ tập tin chung, và nó gây ra đủ vấn đề khiến tôi phải tắt nó. Thật không may vì nó đã hoạt động rất đẹp ở quy mô nhỏ hơn 50 máy tính.

— WMIF

1

Tôi có thể có một ý tưởng cho bạn sẽ giúp. Hãy tha thứ cho tôi vì tôi không hiểu đầy đủ lý do tại sao điều này cần quá phức tạp, nhưng nếu nhu cầu của bạn là giữ đơn giản cho người dùng cuối và giúp dữ liệu nhanh chóng và dễ dàng truy cập vào mạng LAN, có lẽ bạn có thể đi với Thiết bị NAS. Tôi có Synology DS1812 + nó có thể RSYNC với một ổ Synology khác hoặc nhiều thiết bị có khả năng RSYNC khác, nó có một ứng dụng có khả năng torrent có tên là "Download Station", tôi biết bạn có thể tải xuống các tệp torrent từ khoang ổ đĩa và tôi tin rằng bạn cũng có thể tạo hoặc đăng một tệp torrent với ứng dụng đó để cho phép người khác tải xuống một tệp họ cần. Nó có ứng dụng cho thiết bị di động cả Apple và Android. Nó cũng có thể thực hiện chuyển FTP. Khoang ổ đĩa này có thể cung cấp cho bạn khả năng gửi tệp đến nó một cách nhanh chóng sau đó phân tán nó trong mạng LAN một cách nhanh chóng và dễ dàng. Tôi khuyên bạn nên đặt dữ liệu bên trong mạng LAN để giúp người dùng LAN truy cập nhanh hơn, nhưng cái hay của các thiết bị NAS này là bạn có thể đặt chúng ở bất cứ đâu trực tuyến miễn là chúng có kết nối internet nhanh. Có lẽ một trong những thiết bị NAS Synology cao cấp sẽ phù hợp với nhu cầu của bạn.

Synology có một giao diện ảo mà bạn có thể xem qua để cho bạn ý tưởng tốt hơn nếu điều này sẽ hữu ích cho bạn. Tôi sẽ dán liên kết dưới đây vào giao diện ảo

http://www.synology.com/products/dsm_livingemo.php?lang=us

Thiết bị này cũng cung cấp cho mọi người khả năng truy cập dữ liệu của họ thông qua giao diện web hoặc ứng dụng thiết bị di động.

Tôi hy vọng điều này sẽ giúp ích và như tôi đã nói, hãy tha thứ cho tôi nếu tôi không hiểu chính xác câu hỏi.

— Frank R
nguồn

1

Tôi không chắc làm thế nào tốt hơn những gì anh ấy đang làm bây giờ. WMIF không muốn phải đợi người dùng bắt đầu tự lấy dữ liệu; nhóm của anh ấy / cô ấy dự kiến sẽ giai đoạn trước các tệp dữ liệu trên các máy khi nó có sẵn cho họ.

— mfinni

@mfinni đúng. Công việc là đảm bảo rằng các tệp mà chúng tôi được cung cấp đều được tải vào máy tính của hội nghị trước khi người tham dự đặt chân vào phòng.

— WMIF