hệ thống tập tin cho hàng triệu tập tin nhỏ

Bạn sẽ chọn hệ thống tệp Linux nào để có tốc độ tốt nhất trong trường hợp sau:

• một trăm triệu tập tin
• Trung bình ~ 2k kích thước tệp
• > 95% truy cập đọc
• truy cập khá ngẫu nhiên
• đồng thời cao (> 100 quy trình)

Lưu ý: Các tệp được lưu trữ trong một cây phân cấp sâu để tránh các thư mục lớn. Mỗi thư mục lá chứa khoảng một nghìn tệp.

Làm thế nào bạn sẽ điểm chuẩn nó?

Đây là một số kết quả so sánh tất cả các máy tính linux chính với bonnie ++ mà bạn có thể sử dụng làm điểm bắt đầu.

Về mặt tìm kiếm ngẫu nhiên, Reiser thắng, tiếp theo là EXT4, tiếp theo là JFS. Tôi không chắc chắn nếu điều này sẽ tương quan chính xác với tra cứu thư mục, nhưng có vẻ như nó sẽ là một chỉ báo. Bạn sẽ phải làm các bài kiểm tra của riêng bạn cho điều đó cụ thể. EXT2 đánh bật tất cả mọi thứ trong thời gian tạo tập tin, có thể là do thiếu tạp chí, EXT4 vẫn đánh bại mọi thứ trừ Reiser mà bạn có thể không muốn sử dụng do tình trạng hiện tại của người thuê.

Bạn có thể muốn xem xét các ổ đĩa hỗ trợ NCQ và đảm bảo cài đặt của bạn được thiết lập để sử dụng nó. Theo tìm kiếm nặng nề nó sẽ cung cấp một sự gia tăng tốc độ.

Cuối cùng, hãy chắc chắn rằng máy của bạn có một tấn ram. Vì các tệp không được cập nhật thường xuyên, linux sẽ kết thúc bộ nhớ cache hầu hết trong số chúng để ram nếu nó có dung lượng trống. Nếu mô hình sử dụng của bạn là đúng, điều này sẽ giúp bạn tăng tốc độ lớn.

Tôi đồng ý với hầu hết những gì Andrew nói, ngoại trừ việc tôi sẽ giới thiệu Reiser4 hoặc ReiserFS cũ hơn (nhưng được hỗ trợ tốt hơn) . Như các thử nghiệm đó (và tài liệu cho ReiserFS) chỉ ra, nó được thiết kế cho chính xác tình huống mà bạn đang hỏi về (số lượng lớn các tệp hoặc thư mục nhỏ). Tôi đã sử dụng ReiserFS trong quá khứ với Gentoo và Ubuntu mà không gặp vấn đề gì.

Đối với trạng thái của Hans Reiser, tôi không thấy đó là vấn đề với mã hoặc tính ổn định của chính Hệ thống tệp. Reiser4 thậm chí được tài trợ bởi cả DARPA và Linspire, vì vậy trong khi tôi đồng ý rằng sự phát triển hơn nữa của Hệ thống tệp Reiser là không xác định, tôi không nghĩ đó có phải là yếu tố quyết định liệu có ai nên sử dụng nó hay không.

Tôi biết đây không phải là câu trả lời trực tiếp cho câu hỏi của bạn, nhưng trong những trường hợp này tôi nghĩ rằng một cơ sở dữ liệu có thể phù hợp hơn để lưu trữ điều này. Các tệp nhỏ có thể được lưu trữ ở định dạng nhị phân trong bảng cơ sở dữ liệu và được truy xuất tại wil. Phần mềm đang sử dụng các tệp này có thể hỗ trợ điều này mặc dù ...

Ai đó trên Unix StackExchange đã tạo một điểm chuẩn (có nguồn) để kiểm tra kịch bản này:

H: Hệ thống tệp Linux hiệu suất cao nhất để lưu trữ nhiều tệp nhỏ (HDD, không phải SSD) là gì?

Hiệu suất đọc tốt nhất dường như đến từ ReiserFS.

Theo kinh nghiệm của tôi, ext2 thổi ext4 ra khỏi nước cho các tệp nhỏ. Nếu bạn không quan tâm đến tính toàn vẹn của việc viết, thì thật tuyệt. Ví dụ, lật đổ tạo ra rất nhiều và rất nhiều tệp nhỏ, mà ext4 và các hệ thống tệp khác (XFS) bị nghẹt (chạy một công việc định kỳ giúp dữ liệu chuyển sang ext4 từ ext2 cứ sau nửa giờ hoặc gần như giải quyết được vấn đề.)

Chạy các lệnh này làm cho ext2 thậm chí nhanh hơn (mặc dù hầu hết các tùy chọn này làm cho hệ thống tệp không ổn định sau khi gặp sự cố trừ khi bạn chạy đồng bộ hóa trước khi gặp sự cố). Các lệnh này hầu như không có tác dụng với ext4 với các tệp nhỏ.

echo 15 > /proc/sys/vm/swappiness
echo 10 > /proc/sys/vm/vfs_cache_pressure
echo 99 > /proc/sys/vm/dirty_ratio
echo 50 > /proc/sys/vm/dirty_background_ratio
echo 360000 > /proc/sys/vm/dirty_expire_centisecs
echo 360000 > /proc/sys/vm/dirty_writeback_centisecs
echo "2000" > /proc/sys/vm/vfs_cache_pressure

Tôi đoán ext3 (hoặc ext4), có lẽ JFS sẽ là giải pháp tốt. Tôi sẽ cảnh giác với ext4 và btrfs (hệ thống tập tin rất khó - hãy chuẩn bị sẵn các bản sao lưu nếu bạn muốn sử dụng công cụ mới nhất, mới nhất).

Ngoài ra còn có các tham số khác nhau mà bạn có thể điều chỉnh trong thời gian mkfs để điều chỉnh hệ thống tập tin theo ý thích của bạn.

Tôi chắc chắn khuyên bạn nên chống lại XFS. Không phải vì nó là một hệ thống tập tin xấu, nhưng việc tạo / xóa là một hoạt động tốn kém trên nó.

Để tránh các vấn đề với tìm kiếm thư mục, ví dụ, sử dụng sơ đồ đặt tên thông minh:

<first letter of id>_<last letter of id>/<id>

hoặc tương tự, đề án phức tạp hơn. Điều này sẽ tăng tốc tìm kiếm thư mục của bạn và do đó tốc độ truy cập tổng thể. (Tôi nghĩ đó là một thủ thuật unix cũ, trở lại từ V7)

Hầu hết các FS sẽ bị nghẹt thở với hơn 65 nghìn tệp trong một thư mục, tôi nghĩ điều đó vẫn đúng với ext4. Các hệ thống tệp Reiser không có giới hạn đó (mọi người tại mp3.com đã trả tiền để đảm bảo điều đó). Không chắc chắn về bất cứ điều gì khác, nhưng đó là một trong những tình huống sử dụng mà ReiserFS đã được thực hiện cho.