Có bao nhiêu tập tin trong một thư mục là quá nhiều? (Tải xuống dữ liệu từ mạng)

Lời chào hỏi,

Tôi đang viết một số kịch bản để xử lý hình ảnh từ các trang web ảnh khác nhau. Ngay bây giờ tôi đang lưu trữ tất cả dữ liệu này trong các tệp văn bản riêng lẻ trong cùng một thư mục.

Thư mục có thể truy cập web. Người dùng cuối thực hiện cuộc gọi đến dịch vụ web trả về đường dẫn đến tệp mà người dùng sẽ cần.

Tôi đã tự hỏi ở giai đoạn nào tôi sẽ thấy một tác động hiệu suất bằng cách có tất cả các tệp này trong cùng một thư mục? (Nếu có)

Hiệu suất thay đổi tùy theo hệ thống tập tin bạn đang sử dụng.

• FAT: quên nó đi :) (ok, tôi nghĩ giới hạn là 512 tệp cho mỗi thư mục)
• NTFS: Mặc dù nó có thể chứa 4 tỷ tệp trên mỗi thư mục, nhưng nó xuống cấp tương đối nhanh - khoảng một nghìn bạn sẽ bắt đầu nhận thấy các vấn đề về hiệu suất, vài nghìn và bạn sẽ thấy trình thám hiểm xuất hiện khá lâu.

• EXT3: giới hạn vật lý là 32.000 tệp, nhưng perf cũng bị sau vài nghìn tệp.

• EXT4: về mặt lý thuyết là vô hạn

• ReiserFS, XFS, JFS, BTRFS: đây là những tệp tốt cho nhiều tệp trong một thư mục vì chúng hiện đại hơn và được thiết kế để xử lý nhiều tệp (các tệp khác được thiết kế lại vào thời mà ổ cứng được đo bằng MB không phải GB) . Hiệu suất tốt hơn rất nhiều đối với nhiều tệp (cùng với ext4) vì cả hai đều sử dụng thuật toán loại tìm kiếm nhị phân để lấy tệp bạn muốn (các tệp khác sử dụng một tệp tuyến tính hơn).

Tôi lưu trữ hình ảnh để phục vụ bởi một máy chủ web và tôi có hơn 300.000 hình ảnh trong một thư mục trên EXT3. Tôi thấy không có vấn đề hiệu suất. Trước khi thiết lập điều này, tôi đã thử nghiệm với 500k hình ảnh trong một thư mục và truy cập ngẫu nhiên các tệp theo tên và không có sự chậm lại đáng kể nào với 500k trên 10k hình ảnh trong thư mục.

Nhược điểm duy nhất tôi thấy là để đồng bộ hóa cái mới với máy chủ thứ hai, tôi phải chạy rsynctrên toàn bộ thư mục và không thể chỉ bảo nó đồng bộ hóa một thư mục con chứa hàng nghìn gần đây nhất.

Số lượng tệp trong một thư mục về mặt lý thuyết có thể là vô hạn. Tuy nhiên, mỗi khi HĐH sẽ truy cập vào thư mục cụ thể để tìm kiếm tệp, nó sẽ phải xử lý tất cả các tệp trong thư mục. Với ít hơn 500 tệp, bạn có thể không nhận thấy bất kỳ sự chậm trễ nào. Nhưng khi bạn có hàng chục ngàn tệp trong một thư mục, một lệnh danh sách thư mục đơn giản (ls hoặc dir) có thể mất quá nhiều thời gian. Khi các thư mục này có thể được truy cập qua FTP, nó sẽ thực sự quá chậm ...

Các vấn đề về hiệu năng sẽ không thực sự phụ thuộc vào HĐH của bạn mà phụ thuộc vào tốc độ bộ xử lý hệ thống, dung lượng ổ đĩa và bộ nhớ. Nếu bạn có nhiều tệp đó, bạn có thể muốn kết hợp chúng vào một kho lưu trữ duy nhất và sử dụng một hệ thống lưu trữ được tối ưu hóa để chứa nhiều dữ liệu. Đây có thể là một tệp ZIP nhưng tốt hơn nữa, lưu trữ chúng dưới dạng các đốm màu trong cơ sở dữ liệu với tên tệp là khóa chính.

Nguyên tắc nhỏ của tôi là phân chia các thư mục nếu có hơn 1000 tệp và thư mục sẽ được duyệt (tức là thông qua internet hoặc Explorer) hoặc 5000 tệp khác.

Như @skaffman chỉ ra, các giới hạn phụ thuộc vào hệ điều hành. Bạn có thể bị ảnh hưởng bởi các giới hạn trên các hệ điều hành cũ. Tôi nhớ một phiên bản cũ của Solaris bị giới hạn ở 32768 tệp trên mỗi thư mục.

Giải pháp thông thường là sử dụng một số loại băm, tức là máy chủ Cyrus imap chia tách người dùng bằng một hàm băm chữ cái:

/var/spool/imap/a/user/anna/
/var/spool/imap/a/user/albert/
/var/spool/imap/d/user/dan/
/var/spool/imap/e/user/ewan/

Nếu bạn đang truy cập trực tiếp vào một tệp, số lượng tệp trong một thư mục không có vấn đề về tốc độ.

Số lượng tệp bạn có thể tạo trong một thư mục phụ thuộc vào hệ thống tệp bạn đang sử dụng. Nếu bạn đang liệt kê tất cả các tệp trong thư mục hoặc tìm kiếm, sắp xếp, v.v. có nhiều tệp sẽ làm chậm các hoạt động đó.

gbjbaanb đã sai trong câu trả lời của ông về kích thước tệp tối đa của ext3. Nói chung, ext giới hạn số lượng tệp trên đĩa của bạn nói chung. Bạn không thể tạo thêm tệp sau đó bạn có inodes trong bảng inode của mình. Anh ấy đúng khi đề xuất reiserfs cho hiệu suất cao hơn với nhiều tệp

Đã kiểm tra thư mục với các tệp 10K ở dạng NTFS (Windows 7, 64 bit). Thư mục với hình ảnh 10K trong bất kỳ chế độ xem nào (Danh sách, Biểu tượng, v.v.) hoạt động và cuộn mà không có bất kỳ độ trễ hợp lý nào.