Xóa bộ nhớ cache của tệp để lặp lại kiểm tra hiệu suất

Tôi có thể sử dụng công cụ hoặc kỹ thuật nào để xóa nội dung tệp đã lưu trong bộ nhớ cache để ngăn kết quả hiệu suất của tôi bị sai lệch? Tôi tin rằng tôi cần phải xóa hoàn toàn hoặc xóa có chọn lọc thông tin đã lưu trong bộ nhớ cache về nội dung tệp và thư mục.

Ứng dụng mà tôi đang phát triển là một tiện ích nén chuyên dụng và dự kiến ​​sẽ thực hiện rất nhiều công việc đọc và ghi các tệp mà hệ điều hành chưa động đến gần đây và các khối đĩa có khả năng không được lưu vào bộ nhớ đệm.

Tôi muốn loại bỏ sự thay đổi mà tôi thấy trong thời gian IO khi tôi lặp lại nhiệm vụ lập hồ sơ các chiến lược khác nhau để thực hiện công việc xử lý tệp.

Tôi chủ yếu quan tâm đến các giải pháp cho Windows XP, vì đó là máy phát triển chính của tôi, nhưng tôi cũng có thể thử nghiệm bằng linux và vì vậy tôi cũng quan tâm đến câu trả lời cho môi trường đó.

Tôi đã thử SysInternals CacheSet , nhưng việc nhấp vào "Clear" không dẫn đến sự gia tăng có thể đo lường được (khôi phục về thời gian sau khi khởi động nguội) trong thời gian đọc lại các tệp mà tôi vừa đọc một vài lần.

Sử dụng ứng dụng RAMMap của SysInternal .

Tùy chọn menu Empty / Empty Standby List sẽ xóa bộ đệm tệp Windows.

Đối với Windows XP, bạn có thể xóa bộ nhớ cache cho một tệp cụ thể bằng cách mở tệp bằng CreateFile với các tùy chọn FILE_FLAG_NO_BUFFERING và sau đó đóng xử lý. Điều này không được ghi lại và tôi không biết liệu nó có hoạt động trên các phiên bản Windows mới hơn hay không, nhưng tôi đã sử dụng điều này từ lâu khi viết mã thử nghiệm để so sánh các thư viện nén tệp. Tôi không nhớ liệu quyền truy cập đọc hoặc ghi có ảnh hưởng đến thủ thuật này hay không.

Googling cung cấp các tùy chọn này cho Linux

1. Ngắt kết nối và gắn kết phân vùng chứa các tệp
2. sync && echo 1 > /proc/sys/vm/drop_caches

Một tiện ích dòng lệnh có thể được tìm thấy ở đây

từ nguồn:

EmptyStandbyList.exe là một công cụ dòng lệnh dành cho Windows (Vista trở lên) có thể làm trống:

• quy trình làm việc bộ,
• danh sách trang đã sửa đổi,
• danh sách chờ (mức độ ưu tiên từ 0 đến 7) hoặc
• chỉ danh sách chờ ưu tiên 0.

Sử dụng:

EmptyStandbyList.exe workingsets|modifiedpagelist|standbylist|priority0standbylist

 #include <fcntl.h>

int posix_fadvise(int fd, off_t offset, off_t len, int advice);

với tùy chọn lời khuyên POSIX_FADV_DONTNEED:
Dữ liệu được chỉ định sẽ không được truy cập trong tương lai gần.

Tôi đã tìm thấy một kỹ thuật (ngoài việc khởi động lại) có vẻ hoạt động:

1. Chạy một vài bản sao của MemAlloc
2. Với mỗi cái, hãy phân bổ một vài lần bộ nhớ lớn
3. Sử dụng Process Explorer để quan sát kích thước Bộ nhớ đệm Hệ thống giảm xuống mức rất thấp
4. Thoát khỏi chương trình MemAlloc

Nó không có tính chọn lọc. Lý tưởng nhất là tôi muốn có thể xóa các phần cụ thể của bộ nhớ đang được sử dụng để lưu vào bộ đệm các khối đĩa của tệp mà tôi không muốn lưu vào bộ nhớ đệm nữa.

Để có cái nhìn rõ hơn về Bộ đệm ẩn hệ thống tệp của Windows XP - hãy thử ATM của Tim Murgent - nó cho phép bạn xem cả kích thước Bộ đệm làm việc của hệ thống tệp và kích thước Danh sách chờ ở chế độ xem chi tiết và chính xác hơn. Đối với Windows XP - bạn cần có phiên bản cũ 1 của ATM có sẵn để tải xuống tại đây vì V2 và V3 yêu cầu Server 2003, Vista hoặc cao hơn.

Bạn sẽ thấy rằng mặc dù Sysinternals Cacheset sẽ giảm "Cache WS Min" - dữ liệu thực tế vẫn tiếp tục tồn tại ở dạng danh sách Dự phòng từ nơi nó có thể được sử dụng cho đến khi được thay thế bằng thứ khác. Để thay thế nó bằng một thứ khác, hãy sử dụng một công cụ như MemAlloc hoặc flushmem của Chad Austin hoặc Consume.exe từ Công cụ Bộ tài nguyên Windows Server 2003 .

Như câu hỏi cũng được đặt ra cho Linux, có một câu trả lời liên quan ở đây .

Công cụ dòng lệnh vmtouch cho phép thêm và xóa các tệp và thư mục khỏi bộ đệm tệp hệ thống, trong số những thứ khác.

Có một lệnh gọi API windows https://docs.microsoft.com/en-us/windows/desktop/api/memoryapi/nf-memoryapi-setsystemfilecachesize có thể được sử dụng để xóa bộ nhớ cache của hệ thống tệp. Nó cũng có thể được sử dụng để giới hạn kích thước bộ nhớ cache ở một giá trị rất nhỏ. Có vẻ hoàn hảo cho những loại thử nghiệm.