Đồng bộ hóa thư mục với khám phá ngang hàng tự động

10

Tôi đang làm việc với một nhóm các máy chủ Linux ngồi đằng sau tính năng tự động hóa ( tài liệu ) trên đám mây của Amazon . Có các tệp tích lũy trên mỗi máy chủ, chúng là các tệp bộ đệm cho ứng dụng. Tôi đang tìm kiếm một cách tự động để các máy chủ đồng bộ hóa thư mục đó với nhau.

Rsync sẽ hoạt động nếu ai đó có một cách thông minh để phát hiện ngang hàng.
Cùng đi cho Unison.
Chúng tôi cũng đã cân nhắc sử dụng SaaS như Dropbox.
Gluster có vẻ như quá mức cần thiết và tôi không chắc việc máy tính mới tự động tham gia cụm dễ dàng như thế nào.

Lý tưởng nhất là những gì sẽ xảy ra là khi một máy chủ mới được khởi chạy, nó phát hiện ra nó ngang hàng và bắt đầu đồng bộ hóa thư mục. Từ thời điểm đó, một filestamp mới nhất sẽ thắng đồng bộ hóa P2P.

Bất cứ điều gì ngoài đó mà làm điều này?

linux rsync cluster

— Caleb
nguồn

Điều này không làm phát hiện ngang hàng, nhưng nó có thể được quan tâm bất kể - mrsync.sourceforge.net .

— Faheem Mitha

1

Bạn biết là kỳ lạ như nó có thể nghe nhưng sử dụng rtorrent với DHT được bật trên phạm vi ec2 riêng tư có thể hoạt động

Điều này sẽ cung cấp cho bạn

Tự động phát hiện ngang hàng
Trạng thái tệp được xác minh (yay cho băm)
Yêu cầu cấu hình tối thiểu (thêm nam châm (hoặc ip ảo cho torrent mới nhất) cho torrent trong tập lệnh khởi động)
khả năng mở rộng

— Chiến thuật
nguồn

1

Upync ngược dòng cung cấp hỗ trợ cho SLP (Giao thức vị trí dịch vụ). Nó không được kích hoạt trong các nguồn rsync vanilla, nhưng bạn có thể tìm thấy hỗ trợ SLP trong tarball bản vá rsync tại trang chủ rsync (slp.diff). Ví dụ, gói rsync SUSE được xây dựng với bản vá này; Tôi không biết về các bản phân phối khác.

Tôi không chắc chắn đây là những gì bạn đang tìm kiếm và tôi cũng không có bất kỳ kinh nghiệm nào với SLP.

— Petr Uzel
nguồn

0

Có thể tôi đang thiếu một cái gì đó ở đây, nhưng có một số lý do bạn không chỉ thiết lập một thư mục NFS đơn giản và chỉ có tất cả các máy gắn kết đó? Bất cứ khi nào ứng dụng ghi tập tin bộ đệm mới, nó sẽ ghi đè lên bất kỳ cái cũ nào.

— opsguy
nguồn

1

Xin chào. Những gì bạn thiếu là những gì xảy ra khi máy có NFS không thành công? Chúng tôi đang cố gắng loại bỏ điểm lỗi duy nhất cho bộ đệm.

0

Tôi khá chắc chắn rằng có một số công cụ quản lý của Amazon, như Công cụ dòng lệnh , cho phép bạn viết một tập lệnh khởi động để làm cho các nút khám phá lẫn nhau, thông qua các địa chỉ IP riêng hoặc công khai.

Nhân tiện, rsync và Unison không phải là công cụ phù hợp, nếu họ phải phân phối các thay đổi cho bộ đệm rất thường xuyên. Trong trường hợp này, bạn nên xem xét một số hệ thống tập tin thực sự phân tán.

— Marco Solieri
nguồn

0

Có lẽ DRBD (thiết bị khối phân tán)?

— MSpike
nguồn

1

Cảm ơn câu trả lời của bạn, nhưng nó thiếu chất. DRBD không nổi tiếng đến mức nó không yêu cầu ít nhất một liên kết. Nhưng thực sự, bạn nên cung cấp thêm thông tin: tại sao DRBD phù hợp? Làm thế nào nó sẽ làm việc? Đặc biệt là xem xét rằng Kevin nghĩ Gluster quá mức cần thiết: tại sao DRBD sẽ không?

— Gilles 'SO- ngừng trở nên xấu xa'

Tôi chỉ nhận ra rằng bạn đang tìm kiếm khám phá ngang hàng tự động, vì vậy cái này không phù hợp với bạn. DRBD là một thiết bị khối trên phần cứng thực của bạn hoặc trên đỉnh của một số âm lượng và hơn là nó đồng bộ hóa chúng qua mạng.

— MSpike