Tôi không phải là ninja hệ thống tệp phân tán, nhưng sau khi hợp nhất càng nhiều ổ đĩa tôi có thể vào càng ít máy càng tốt, tôi sẽ thử sử dụng iSCSI để kết nối phần lớn các máy với một máy chính. Ở đó tôi có thể hợp nhất mọi thứ vào hy vọng một kho lưu trữ chịu lỗi. Tốt hơn là, khả năng chịu lỗi trong máy (nếu ổ đĩa bị tắt) và giữa các máy (nếu toàn bộ máy bị tắt nguồn).
Cá nhân tôi thích ZFS. Trong trường hợp này, bản dựng trong nén, khấu trừ và khả năng chịu lỗi sẽ hữu ích. Tuy nhiên, tôi chắc chắn có nhiều cách khác để nén dữ liệu trong khi làm cho nó có khả năng chịu lỗi.
Ước gì tôi có một giải pháp tập tin chìa khóa trao tay thực sự để giới thiệu, tôi biết điều này thực sự rất khó khăn nhưng tôi hy vọng nó chỉ cho bạn đi đúng hướng.
Chỉnh sửa: Tôi vẫn chưa quen với ZFS và thiết lập iSCSI, nhưng nhớ lại đã thấy một video từ Sun ở Đức nơi họ đang hiển thị khả năng chịu lỗi của ZFS. Họ đã kết nối ba hub USB với một máy tính và đặt bốn ổ flash vào mỗi hub. Sau đó, để ngăn chặn bất kỳ một trung tâm nào lấy bể lưu trữ xuống, họ đã tạo một ổ RAIDz bao gồm một ổ flash từ mỗi hub. Sau đó, họ kết hợp bốn khối ZFS RAIDz lại với nhau. Bằng cách đó, chỉ có bốn ổ đĩa flash được sử dụng cho tương đương. Tất nhiên, tiếp theo là rút một trung tâm và điều đó làm suy giảm mọi zpool, nhưng tất cả dữ liệu đều có sẵn. Trong cấu hình này, có thể mất tối đa bốn ổ đĩa, nhưng chỉ khi bất kỳ hai ổ đĩa nào không nằm trong cùng một nhóm.
Nếu cấu hình này được sử dụng với ổ đĩa thô của mỗi hộp, thì điều đó sẽ bảo tồn nhiều ổ đĩa hơn cho dữ liệu chứ không phải cho tính chẵn lẻ. Tôi nghe nói FreeNAS có thể (hoặc sẽ có thể) chia sẻ các ổ đĩa theo cách "thô" thông qua iSCSI, vì vậy tôi cho rằng Linux cũng có thể làm như vậy. Như tôi đã nói, tôi vẫn đang học, nhưng phương pháp thay thế này sẽ ít lãng phí hơn từ quan điểm tương đương ổ đĩa so với đề xuất trước đây của tôi. Tất nhiên, nó sẽ dựa vào việc sử dụng ZFS mà tôi không biết liệu có thể chấp nhận được hay không. Tôi biết thường là tốt nhất để bám vào những gì bạn biết nếu bạn sẽ phải xây dựng / bảo trì / sửa chữa một cái gì đó, trừ khi đây là một kinh nghiệm học tập.
Hy vọng điều này là tốt hơn.
Chỉnh sửa: Đã thực hiện một số đào và tìm thấy video tôi đã nói về. Phần mà họ giải thích về việc truyền bá ổ flash USB trên các hub bắt đầu từ 2m10s. Video này là để giới thiệu máy chủ lưu trữ của họ "Thumper" (X4500) và cách truyền bá các đĩa qua các bộ điều khiển để nếu bạn gặp lỗi bộ điều khiển đĩa cứng, dữ liệu của bạn sẽ vẫn tốt. (Cá nhân tôi nghĩ rằng đây chỉ là một video về những người đam mê vui vẻ. Tôi ước mình có một hộp Thumper, nhưng vợ tôi sẽ không thích tôi chạy một cái pallet trong nhà. D Đó là một hộp lớn.)
Chỉnh sửa: Tôi nhớ đã đến trên một hệ thống tệp phân tán có tên OpenAFS . Tôi đã không thử nó, tôi chỉ đọc một số về nó. Có lẽ khác biết làm thế nào nó xử lý trong thế giới thực.