Thuật toán cho các mục hết hạn trong lưu trữ khóa-giá trị là gì?

Tôi đã suy nghĩ về cách các kho lưu trữ khóa-giá trị hiện tại thực hiện "ngày hết hạn" cho các mặt hàng. Hiện tại tôi có 2 biến thể cho điều đó trong tâm trí:

1. họ không làm gì cả (giữ dữ liệu hết hạn) và chỉ kiểm tra khi bạn làm, ví dụ, NHẬN bằng một số phím. Vấn đề ở đây là nếu bạn bị giới hạn về bộ nhớ, các mục đã hết hạn sẽ không bị xóa.

2. họ giữ các cấu trúc dữ liệu bổ sung để có thể "sớm hết hạn". Tôi thấy nó có thể được thực hiện với một cái gì đó như thế này:

   storage_data = dict(key -> [value, expire_timestamp])
   expire_tree = SomeBinaryLikeTree(expire_timestamp -> [keys])
   

Vấn đề xóa các mục đã hết hạn trong bộ đệm rất giống với bộ sưu tập rác , trừ đi sự phức tạp của việc đếm tham chiếu.

Mọi người tại Nasza-Klasa đã đề xuất thuật toán O (1) cho Memcache như sau:

Dường như nhiều người tin rằng vì một số lý do mà việc giải phóng các mục đã hết hạn không thể được thực hiện trong O (1) hoặc thậm chí là nó yêu cầu các hoạt động của Omega (N). Sử dụng một đống, hoặc các cấu trúc dữ liệu hàng đợi ưu tiên khác rõ ràng có thể cung cấp cho bạn O (log N), nhưng bản vá dưới đây nhắm vào O (1). Điều này đạt được bằng cách có một thùng cho mỗi giây và bằng cách đặt từng mục vào một thùng thích hợp bằng cách xem thời gian hết hạn. Sau đó, ở mỗi giây, chúng tôi chỉ cần các phần tử miễn phí từ thùng tiếp theo. Đây rõ ràng là thời gian khấu hao O (1), nhưng có thể xảy ra là bạn có rất nhiều yếu tố hết hạn cùng một lúc, do đó, bản vá cung cấp một giới hạn cố định cho số lượng hoạt động mà bạn sẵn sàng thực hiện cho mỗi yêu cầu, để làm cho bộ sưu tập rác chạy trơn tru hơn.

Xem toàn bộ đề xuất với mã đính kèm .

Tôi giả sử bộ lưu trữ khóa-giá trị quá lớn để chỉ lặp đi lặp lại trên tất cả các cặp kv để tìm ra cái nào có thể hết hạn. Tôi cũng giả định rằng mỗi lần truy cập đọc làm mới dấu thời gian hết hạn, do đó, chỉ những mục không được truy cập trong một thời gian mới hết hạn.

Thách thức là tìm hiệu quả tất cả các bản ghi có thể hết hạn (bất cứ khi nào dọn dẹp), nhưng cũng làm mới hiệu quả dấu thời gian hết hạn trên mỗi lần truy cập đọc (vì vậy chúng tôi phải tìm khóa trong cấu trúc được sử dụng để hết hạn).

Đề xuất của tôi: nhóm expiry_timestamp vào xô; ví dụ: nếu các mặt hàng tồn tại trong 8 giờ, hãy tạo một thùng mỗi giờ. Những thùng đó được giữ trong một danh sách liên kết; khi hết hạn, thùng đầu tiên được làm trống và danh sách giảm. Số lượng xô là khoảng thời gian tuổi thọ / dọn dẹp. Mỗi nhóm chứa một hàm băm của tất cả các khóa sẽ hết hạn. Lặp lại tất cả các khóa trong một bộ băm là đủ hiệu quả.

Trong quá trình truy cập đọc, chương trình sẽ kiểm tra khóa nào hiện tại và khóa nào thuộc về nhóm nào. Trong hầu hết các trường hợp, đó là cùng một nhóm, vì vậy không cần thực hiện thêm hành động nào. Mặt khác, loại bỏ khóa khỏi nhóm cũ (loại bỏ khỏi bộ băm có hiệu quả) và chèn nó vào nhóm mới.

   +--------------+   +--------------+   +--------------+
-->+ Expiry 08:00 +-->+ Expiry 09:00 +-->+ Expiry 10:00 +
   | KeySet       |   | KeySet       |   | KeySet       |
   +--------------+   +--------------+   +--------------+