Có giới hạn nào cho việc có nhiều tệp trong một thư mục trong Mac OS X không?

Tôi có hơn 100.000 tệp trong một thư mục trong MacOS X của tôi và có vẻ như kịch bản của tôi chậm đọc tệp trong đó.

Có bất kỳ giới hạn hoặc khuyến nghị để có nhiều tập tin? Tôi có nên chia chúng vào một số thư mục?

Hạn chế tôi tìm thấy là tôi không thể mv * foocho tất cả 100.000 tệp. Nó hiển thị một lỗi, nói "đối số quá dài." Nó hoạt động với khoảng dưới 20.000 tập tin.

Theo câu trả lời Stack Overflow này và các chi tiết cụ thể trên trang web của Apple , một thư mục riêng lẻ có thể chứa tới 2,1 tỷ mục.

Điều đó nói rằng, chỉ vì nó có thể chứa tới 2,1 tỷ mặt hàng không có nghĩa là nó có thể duy trì hiệu suất ở mức đó. Theo Wikipedia ; nhấn mạnh là của tôi:

Tệp Danh mục, lưu trữ tất cả các bản ghi tệp và thư mục trong một cấu trúc dữ liệu, dẫn đến các vấn đề về hiệu năng khi hệ thống cho phép đa nhiệm, vì mỗi lần chỉ có một chương trình có thể ghi vào cấu trúc này, có nghĩa là nhiều chương trình có thể đang chờ trong hàng đợi do một chương trình "ăn cắp" hệ thống. Đây cũng là một vấn đề đáng tin cậy nghiêm trọng, vì thiệt hại cho tệp này có thể phá hủy toàn bộ hệ thống tệp.

Vì vậy, hiệu suất bị suy giảm một cách tự nhiên nhờ thực tế tệp danh mục chỉ có thể được sử dụng bởi một chương trình tại một thời điểm. Và nếu thư mục tăng kích thước, rủi ro / xuống cấp do vấn đề đó sẽ chỉ leo thang; nhiều tệp hơn có nghĩa là nhiều cơ hội hơn cho các chương trình truy cập các tệp trong một thư mục đó. Xác nhận thêm về ý tưởng đó ở đây ; một lần nữa nhấn mạnh là của tôi:

Các tập tin danh mục là một cấu trúc phức tạp. Bởi vì nó giữ tất cả thông tin tệp và thư mục, nó buộc tuần tự hóa hệ thống tệp không phải là một tình huống lý tưởng khi có một số lượng lớn các luồng muốn thực hiện I / O tệp. Trong HFS, mọi thao tác tạo tệp hoặc sửa đổi tệp theo bất kỳ cách nào đều phải khóa tệp danh mục, điều này ngăn các luồng khác truy cập ngay cả chỉ đọc vào tệp danh mục. Quyền truy cập vào tệp danh mục phải là một người viết đơn / đa mục.

Trả lời ngắn: Chà, nếu bạn đang đọc 100.000 tệp, tôi có thể hy vọng tập lệnh sẽ chậm.

Câu trả lời dài: Để trả lời câu hỏi này kỹ hơn, bạn phải xem hệ thống tệp trên máy Mac. Máy Mac sử dụng HFS + ( Hệ thống tệp phân cấp Plus ), đây là một hệ thống tệp hiện đại có những hạn chế, nhưng chỉ trong các tình huống cực đoan.

Theo kinh nghiệm của tôi, nó rất giống với hệ thống tệp nhật ký Linux EXT. Nó hỗ trợ các thư mục gắn kết, các quyền giống như UNIX, v.v. Nó xử lý các tệp ở định dạng 32 bit, làm cho số lượng tệp tối đa có thể được lưu trữ trong một khối lượng 4.294.967.295, theo nguồn này .

Hệ thống tệp bắt đầu bị hỏng với các tệp lớn hơn 8 EB trên các hệ thống hiện đại và lên tới 2,1 tỷ tệp và thư mục ở một vị trí như được nêu ở đây .

Theo cách mà HFS + Hayor thực sự có bất kỳ hệ thống tệp nào được thiết lập cho vấn đề đó, có rất nhiều tệp trong một thư mục không nên làm bất cứ điều gì 'kỳ lạ'.

Thành thật mà nói, tôi không nghĩ sẽ có một cải tiến hiệu suất phân phối các tệp trên một hệ thống phân cấp thư mục phức tạp hơn. Trên thực tế, kỹ thuật này có thể kém hiệu quả hơn vì tập lệnh của bạn sẽ phải thực hiện các cuộc gọi để thay đổi thư mục giữa quy trình.