Hệ thống tệp Linux hiệu suất cao nhất để lưu trữ nhiều tệp nhỏ (HDD, không phải SSD) là gì?

Tôi có một cây thư mục chứa nhiều tệp nhỏ và một số lượng nhỏ tệp lớn hơn. Kích thước trung bình của một tập tin là khoảng 1 kilobyte. Có 210158 tệp và thư mục trong cây (số này có được bằng cách chạy find | wc -l).

Một tỷ lệ nhỏ các tệp được thêm / xóa / ghi lại nhiều lần mỗi tuần. Điều này áp dụng cho các tệp nhỏ, cũng như (số lượng nhỏ) tệp lớn hơn.

Các hệ thống tệp mà tôi đã thử (ext4, btrfs) có một số vấn đề với việc định vị tệp trên đĩa. Trong một khoảng thời gian dài hơn, các vị trí vật lý của các tệp trên đĩa (phương tiện quay, không phải đĩa trạng thái rắn) sẽ được phân phối ngẫu nhiên hơn. Hậu quả tiêu cực của phân phối ngẫu nhiên này là hệ thống tệp ngày càng chậm (chẳng hạn như: chậm hơn 4 lần so với hệ thống tệp mới).

Có một hệ thống tập tin Linux (hoặc một phương pháp bảo trì hệ thống tập tin) không bị suy giảm hiệu suất này và có thể duy trì cấu hình hiệu suất ổn định trên phương tiện quay không? Hệ thống tập tin có thể chạy trên Fuse, nhưng nó cần phải đáng tin cậy.

Hiệu suất

Tôi đã viết một Điểm chuẩn nhỏ ( nguồn ), để tìm hiểu, hệ thống tệp nào hoạt động tốt nhất với hàng trăm nghìn tệp nhỏ:

• tạo 300000 tệp (512B đến 1536B) với dữ liệu từ / dev / urandom
• viết lại 30000 tệp ngẫu nhiên và thay đổi kích thước
• đọc 30000 tập tin liên tiếp
• đọc 30000 tệp ngẫu nhiên

• xóa tất cả các tệp tin

• đồng bộ hóa và xóa bộ nhớ cache sau mỗi bước

Kết quả (thời gian trung bình tính bằng giây, thấp hơn = tốt hơn):

Using Linux Kernel version 3.1.7
Btrfs:
    create:    53 s
    rewrite:    6 s
    read sq:    4 s
    read rn:  312 s
    delete:   373 s

ext4:
    create:    46 s
    rewrite:   18 s
    read sq:   29 s
    read rn:  272 s
    delete:    12 s

ReiserFS:
    create:    62 s
    rewrite:  321 s
    read sq:    6 s
    read rn:  246 s
    delete:    41 s

XFS:
    create:    68 s
    rewrite:  430 s
    read sq:   37 s
    read rn:  367 s
    delete:    36 s

Kết quả:
Mặc dù Ext4 có hiệu suất tổng thể tốt, ReiserFS cực kỳ nhanh trong việc đọc các tệp tuần tự. Hóa ra XFS chậm với nhiều tệp nhỏ - bạn không nên sử dụng nó cho trường hợp sử dụng này.

Vấn đề phân mảnh

Cách duy nhất để ngăn hệ thống tệp phân phối tệp qua ổ đĩa, là giữ cho phân vùng chỉ lớn như bạn thực sự cần, nhưng chú ý không làm cho phân vùng quá nhỏ, để ngăn chặn phân mảnh. Sử dụng LVM có thể rất hữu ích.

đọc thêm

Arch Wiki có một số bài viết tuyệt vời liên quan đến hiệu suất hệ thống tệp:

https://wiki.archlinux.org/index.php/Beginner%27s_Guide#Filesystem_types

https://wiki.archlinux.org/index.php/Maximizing_Performance#Storage_devices

Tôi đang sử dụng ReiserFS cho nhiệm vụ này, nó được tạo ra đặc biệt để xử lý rất nhiều tệp nhỏ. Có một văn bản dễ đọc về nó tại wiki funtoo.

ReiserFS cũng có một loạt các tính năng nhằm cải thiện hiệu suất tệp nhỏ. Không giống như ext2, ReiserFS không phân bổ không gian lưu trữ trong các khối cố định một hoặc bốn k. Thay vào đó, nó có thể phân bổ kích thước chính xác mà nó cần.

Hiệu suất ext4 giảm sau 1-2 triệu tệp trong một thư mục. Xem trang này http://genomewiki.ucsc.edu/index.php/File_system_performance được tạo bởi Hiram Clawson tại UCSC

XFS được ghi nhận để thực hiện rất tốt trong các tình huống như thế này. Đây là một phần lý do tại sao chúng tôi sử dụng nó trong công việc của tôi cho các cửa hàng thư của chúng tôi (có thể chứa hàng trăm ngàn tệp trong 1 thư mục). Nó có khả năng chịu lỗi tốt hơn ReiserFS, được sử dụng rộng rãi hơn nhiều và nói chung là một hệ thống tệp rất trưởng thành.

Ngoài ra, XFS hỗ trợ chống phân mảnh trực tuyến. Mặc dù nó sử dụng một kỹ thuật phân bổ bị trì hoãn dẫn đến việc phân mảnh ít hơn (so với các hệ thống tập tin khác) để bắt đầu.