Có bao nhiêu tệp trong một thư mục là quá nhiều? [đóng cửa]

Nhiều năm trước tôi mơ hồ nhớ lại rằng Finder trong Mac OS X sẽ bắt đầu gặp sự cố nếu một thư mục chứa 2.000 - 3.000 mục trở lên.

Apple doc nói rằng hệ thống tệp HFS Plus có giới hạn lý thuyết là 2 tỷ tệp cho mỗi thư mục tất cả các phiên bản Mac OS X.

Giới hạn thực tế là gì?

Sẽ có 10.000 ảnh trong một thư mục có vấn đề?

Có vẻ như khoảng 10.000 là an toàn. Tuy nhiên, tôi đã thấy rằng nếu bạn đi cao hơn nhiều như 50.000 Finder sẽ không bao giờ liệt kê các tệp trong thư mục khi bạn cố duyệt nó. Tôi nghi ngờ đây là lý do tại sao nhiều phần mềm khôi phục dữ liệu sẽ tạo một thư mục mới cứ sau 10.000 tệp nếu bạn đang thực hiện khắc tệp trong RAW.

Bạn có thể dễ dàng thử điều này bằng cách chạy như sau trong Terminal

mkdir ~/t
cd ~/t
dd if=/dev/random of=test bs=1024 count=16
for i in {1..10000}; do cp test test.$i; done

để tạo một thư mục chứa 10.000 tệp với mỗi tệp 16kB (thay thế 16 trong dòng thứ ba bằng một số khác cho các tệp có kích thước khác nhau).

Trả lời xem xét một ví dụ thực tế: Hiện tại tôi có 326.000 tệp trong một thư mục, được tạo bởi một ứng dụng tải bit từ máy chủ. Các tệp này là các tệp XML được nén và ứng dụng của tôi trích xuất dữ liệu XML từ nó và lưu trữ nó trên cơ sở dữ liệu cục bộ.

Ứng dụng chạy từ dòng lệnh. Mọi thứ hoạt động tốt mà không có bất kỳ vấn đề nhưng rm * hoặc ls *không hoạt động do sự mở rộng của các ký tự đại diện (thông báo lỗi Argument list too long). Vì các tệp được lưu trữ trong một thư mục tạm thời, tôi chỉ có thể xóa thư mục sau khi xử lý các tệp.

Tôi đã không cố gắng để mở thư mục với Finder, mặc dù. Tôi nghi ngờ rằng có thể rất chậm nếu có thể.

Có một số giới hạn để xem xét đã bị chạm vào bởi một số ý kiến:

• độ dài đối số và mở rộng shell - một đơn giản echo *sẽ bảo lãnh nếu độ dài của tên tệp được tạo thành dấu hoa thị mở rộng thành các lần truy cập theo giới hạn đó. Nếu chạy vào bẫy này, thường findsẽ là bạn của bạn. find . -depth 1 -type f | exec echo {} \; sẽ là một sự thay thế làm việc cho những người vô tội echo *được đề cập ở trên, chỉ giới hạn ở các tệp liệt kê. ( echođược thay thế bằng hành động bạn chọn)

• mỗi giới hạn chương trình đối với kích thước của cấu trúc dữ liệu nội bộ được sử dụng để chứa nội dung thư mục (công cụ tìm, tất cả các loại công cụ cố gắng đọc danh sách thư mục).

• thư mục tra cứu kích thước bộ đệm. Mặc dù hệ thống tệp có thể chứa 2,1 tỷ tệp trong cấu trúc trên đĩa của thư mục, nhưng sẽ không dễ chịu khi làm việc với số đó và bạn nên giới thiệu một số chiến lược sắp xếp tệp vào thư mục con nếu bạn đang kinh doanh các cấu trúc có kích thước đó. (Gợi ý: những người thiết kế cấu trúc bộ đệm web đã phải đối phó với điều đó - xem Maltzahn / Richardson, Giảm Đĩa I / O của Bộ đệm Máy chủ Web Proxy, Usenix 1999 .

Để tăng tốc truy cập vào các cấu trúc đĩa được sử dụng thường xuyên, các hệ thống tệp đang sử dụng bộ nhớ cache (bộ nhớ) và kích thước của các bộ đệm này bị giới hạn. Đây là nơi mà hình phạt bất ngờ cho các giám đốc có cấu trúc lớn và kém tối ưu bắt đầu đánh. Tùy thuộc vào tần suất và cường độ truy cập vào các thư mục này, hình phạt có thể là đáng kể.

Bài viết năm 2015 của Tsai và cộng sự, Làm thế nào để có được nhiều giá trị hơn từ bộ đệm thư mục hệ thống tệp của bạn có thể là một trong những giới thiệu dễ dàng hơn về chủ đề này.

Apple có một tài liệu hỗ trợ liên quan đến điều đó:

Số lượng tệp (hoặc tệp và thư mục) tối đa trong một thư mục (tất cả các phiên bản Mac OS X)

Lên tới 2,1 tỷ (2)