Tôi vừa thêm một tính năng tìm kiếm dự đoán (xem ví dụ bên dưới) vào trang web của tôi chạy trên Máy chủ Ubuntu. Điều này chạy trực tiếp từ cơ sở dữ liệu. Tôi muốn lưu trữ kết quả cho mỗi tìm kiếm và sử dụng nếu nó tồn tại, người khác sẽ tạo nó.
Có vấn đề gì với tôi khi lưu 10 triệu kết quả tiềm năng trong các tệp riêng biệt trong một thư mục không? Hoặc có nên chia chúng thành các thư mục không?
Thí dụ:
5
Nó sẽ tốt hơn để chia. Bất kỳ lệnh nào cố gắng liệt kê nội dung của thư mục đó sẽ có khả năng tự quyết định.
—
muru
Vì vậy, nếu bạn đã có một cơ sở dữ liệu, tại sao không sử dụng nó? Tôi chắc chắn rằng DBMS sẽ có khả năng xử lý tốt hơn hàng triệu bản ghi so với hệ thống tệp. Nếu bạn không sử dụng hệ thống tập tin, bạn cần đưa ra sơ đồ chia tách bằng cách sử dụng một loại băm nào đó, tại thời điểm này IMHO có vẻ như sử dụng DB sẽ ít hoạt động hơn.
—
roadmr
Một tùy chọn khác cho bộ nhớ đệm phù hợp với mô hình của bạn tốt hơn có thể là memcached hoặc redis. Chúng là các cửa hàng giá trị chính (vì vậy chúng hoạt động như một thư mục duy nhất và bạn truy cập các mục chỉ bằng tên). Redis vẫn tồn tại (sẽ không mất dữ liệu khi được khởi động lại) khi mà memcached dành cho các mục tạm thời hơn.
—
Stephen Ostermiller 11/2/2015
Có một vấn đề gà và trứng ở đây. Các nhà phát triển công cụ không xử lý các thư mục có số lượng lớn tệp vì mọi người không làm điều đó. Và mọi người không tạo thư mục với số lượng lớn tệp vì các công cụ không hỗ trợ tốt. ví dụ: tôi hiểu tại một thời điểm (và tôi tin rằng điều này vẫn đúng), một yêu cầu tính năng để tạo phiên bản trình tạo của
os.listdirpython đã bị từ chối thẳng thừng vì lý do này.
Từ kinh nghiệm của bản thân tôi, tôi đã thấy bị hỏng khi vượt quá 32k tệp trong một thư mục trên Linux 2.6. Tất nhiên là có thể điều chỉnh vượt quá điểm này, nhưng tôi không khuyến nghị điều đó. Chỉ cần chia thành một vài lớp thư mục con và nó sẽ tốt hơn nhiều. Cá nhân tôi sẽ giới hạn ở mức khoảng 10.000 mỗi thư mục sẽ cung cấp cho bạn 2 lớp.
—
Wolph
