hệ thống tập tin để lưu trữ

Tôi có một số dữ liệu chỉ đọc phức tạp trong hệ thống tệp của mình. Nó chứa hàng ngàn ảnh chụp nhanh của một số phiên bản nhất định của kho lưu trữ svn và đầu ra của các bài kiểm tra hồi quy. Các tệp giống hệt nhau giữa các ảnh chụp nhanh đã được sao chép lại bằng các liên kết cứng. Bằng cách này, dung lượng lưu trữ không cần phải lớn, nhưng nó vẫn tiêu tốn rất nhiều nút và điều này khiến fsck đau đớn kéo dài cho hệ thống tệp chính của tôi.

Tôi muốn chuyển các dữ liệu này sang hệ thống tệp khác để nó không ảnh hưởng đến hệ thống tệp chính quá nhiều. Bạn có đề xuất? Squashfs dường như là một lựa chọn khả thi, nhưng tôi sẽ phải kiểm tra xem nó có thể xử lý các liên kết cứng một cách hiệu quả hay không.

Nếu nó chậm quá fsck, bạn đã thử ext4 chưa? Họ đã thêm một vài tính năng vào đó giúp fsck thực sự nhanh chóng bằng cách không nhìn vào các nút không sử dụng :

Fsck là một hoạt động rất chậm, đặc biệt là bước đầu tiên: kiểm tra tất cả các nút trong hệ thống tệp. Trong Ext4, ở cuối bảng inode của mỗi nhóm sẽ được lưu trữ một danh sách các nút không sử dụng (với tổng kiểm tra, để đảm bảo an toàn), vì vậy fsck sẽ không kiểm tra các nút đó. Kết quả là tổng thời gian fsck cải thiện từ 2 đến 20 lần, tùy thuộc vào số lượng nút được sử dụng (http://kerneltrap.org/Linux/Improving_fsck_Speed_in_Ext4). Cần phải lưu ý rằng đó là fsck chứ không phải Ext4, người sẽ xây dựng danh sách các nút không sử dụng. Điều này có nghĩa là bạn phải chạy fsck để có được danh sách các nút không sử dụng được xây dựng và chỉ lần chạy fsck tiếp theo sẽ nhanh hơn (bạn cần phải chuyển fsck để chuyển đổi hệ thống tệp Ext3 sang Ext4). Ngoài ra còn có một tính năng tham gia vào fsck này tăng tốc - "nhóm khối linh hoạt"

Btrfs có hỗ trợ riêng cho ảnh chụp nhanh, vì vậy bạn sẽ không phải sử dụng các liên kết cứng để sao chép. Bạn có thể tạo lại thiết lập hiện tại của mình bằng cách tạo một hệ thống tệp btrfs và tải nó với bản sửa đổi sớm nhất mà bạn cần, và chụp ảnh nhanh, sau đó quay lại kho lưu trữ tới từng điểm mà bạn cần một ảnh chụp nhanh và chụp nhanh tại mỗi điểm bươc. Điều này sẽ hiệu quả hơn các liên kết cứng và cũng đơn giản hơn để thiết lập.

Tôi cũng nghĩ (mặc dù tôi không chắc chắn về điều này) rằng squashfs sao chép các tập tin một cách trong suốt, vì vậy ngay cả khi nó không xử lý các liên kết cứng, bạn vẫn sẽ thấy lợi ích. Nếu bạn không bao giờ cần thay đổi dữ liệu trong hệ thống tập tin, thì squashfs có lẽ là cách để đi, vì fsck sau đó có thể được thay thế bằng md5sum;)

Tôi thích XFS hơn vì tôi có kinh nghiệm rất tốt với hệ thống tệp này. Nhưng tôi thực sự khuyên bạn nên thực hiện kiểm tra với dữ liệu của mình và tất cả các hệ thống tệp được đề xuất.

Tôi biết một số cửa hàng sử dụng DataDomain cho mục đích đó.

Tập lệnh lưu trữ của bạn có thể rất đơn giản (ví dụ: tar hoặc rsync và cron) và bạn không cần phải lo lắng về việc quản lý các liên kết cứng hoặc các thư mục không thể liên kết cứng trên hầu hết các hệ thống tệp. Không cần bản sao gia tăng ngoại trừ bảo tồn băng thông. Tất cả các phép thuật xảy ra bên dưới lớp khối. Không có gì lạ khi lưu trữ dữ liệu ảo trị giá 15-20TB trong khi chỉ sử dụng dung lượng đĩa thực có giá trị 1-2TB. Bạn vẫn còn dư để sao lưu đĩa.

Dữ liệu sẽ được cung cấp qua NFS hoặc iSCSI, nhưng tôi không chắc đó có phải là sự cố không

Khi FreeBSD có ZFS v23, sự trùng lặp sẽ có sẵn cho phần còn lại của chúng tôi.