Những hệ thống tập tin nào cung cấp hỗ trợ tốt cho tập tin và thư mục LARGE nói chung?

Tôi sắp viết một chương trình sẽ thực hiện RẤT NHIỀU ghi để tạo ra một loạt các tệp lớn, vì vậy tôi đã tự hỏi tôi nên đi theo hệ thống tệp nào, và tại sao hoạt động của các hệ thống tệp đó lại làm như vậy?

filesystems

— Kaitlyn Mcmordie
nguồn

Điều này có lẽ sẽ phù hợp hơn với serverfault.com

— CaffGeek

Tối ưu hóa sớm nhiều? Có bao nhiêu tập tin hoặc thư mục chúng ta đang nói ở đây? Điều gì khiến bạn nghĩ NTFS / FAT / EXT, các hệ thống mặc định trên bất kỳ nền tảng nào bạn đang chạy sẽ không đủ?

— Fosco

Tệp LARGE lớn đến mức nào (có lớn hơn tệp Lớn) không? Bao nhiêu là một LÔ? Bạn có một hệ điều hành cụ thể trong tâm trí? Bạn sẽ sử dụng loại nền tảng nào trên (sắt lớn, PC, bụi thông minh, trên sàn và chạy hệ điều hành nào)? Những hoạt động nào bạn sẽ sử dụng (viết tất cả cùng một lúc so với tiếp tục nối với các mẫu phức tạp hơn)? Bạn có cần các tính năng như quyền, hạn ngạch hoặc bảo vệ tính toàn vẹn không? Yêu cầu độ tin cậy của bạn là gì? Trả lời những câu hỏi này và chúng tôi có thể đưa ra các khuyến nghị thực sự hữu ích.

— Gilles

+1 để bình luận yêu cầu chi tiết hơn. Chúng ta cần một ước tính sơ bộ về "LÔ" và "lớn" là gì. Để mã hóa một giải pháp, tôi đặt cược bất kỳ hệ thống tập tin hiện đại nào (NTFS, ext4) sẽ làm. Bạn đang chạy vào các vấn đề cụ thể?

— kbyrd

@kbyrd, tôi sẽ không bao giờ xem xét NTFS cho các thư mục lớn và phân cấp sâu yêu cầu tra cứu nhanh. NTFS bị chết chậm trong những trường hợp này.

Nếu bạn muốn một hệ thống tệp có thể giải quyết các không gian địa chỉ lớn không thể tin được, hãy sử dụng ZFS .

Giới hạn kích thước của nó lớn hơn số nguyên tử trên trái đất, do đó không thể hết bộ nhớ địa chỉ khi sử dụng ZFS.

Hãy nhớ rằng sử dụng ZFS là lý thuyết hơn là thực tế. Rất khó để có đủ bộ nhớ để vượt quá dung lượng của hầu hết các hệ thống tệp hiện đại, vì vậy tôi không nhất thiết phải đề xuất ZFS. Sử dụng những gì có ý nghĩa dựa trên các yếu tố khác.

— cây thông
nguồn

Bạn có thể mở rộng về điều đó một chút? Những tính năng nào cho phép zfs có những không gian địa chỉ lớn không thể tin được này?

— Kaitlyn Mcmordie

@KaitlynMcmordie, từ bài viết trên Wikipedia:ZFS is a 128-bit file system, so it can address 1.84 × 1019 times more data than 64-bit systems such as NTFS.

— riwalk

Nó sử dụng các con trỏ 128 bit cho các khối dữ liệu và nó hợp nhất các lớp khối, hệ thống tệp và khối lượng logic để cho phép các hệ thống tệp trải rộng trên nhiều thiết bị vật lý. Về cơ bản, bạn tạo "nhóm" không gian trên một hoặc nhiều ổ đĩa và ZFS đảm nhiệm việc truyền bá dữ liệu trên chúng. Bạn có thể tự động thêm các thiết bị vào một nhóm, vì vậy về mặt lý thuyết, bạn sẽ không bao giờ hết dung lượng.

— TMN