Truy vấn khoảng cách nhanh hamming trong postgres

Tôi có một cơ sở dữ liệu lớn (16M hàng) chứa các hình ảnh băm nhận thức.

Tôi muốn có thể tìm kiếm các hàng bằng cách ham khoảng cách trong một khung thời gian hợp lý.

Hiện tại, theo như tôi hiểu đúng về vấn đề này, tôi nghĩ lựa chọn tốt nhất ở đây sẽ là triển khai SP-GiST tùy chỉnh thực hiện BK-Tree , nhưng có vẻ như rất nhiều công việc, và tôi vẫn còn mơ hồ về thực tế chi tiết thực hiện đúng một chỉ số tùy chỉnh. Tính khoảng cách Hamming là đủ dể làm, và tôi làm biết C, mặc dù.

Về cơ bản, cách tiếp cận phù hợp ở đây là gì? Tôi cần có thể truy vấn các kết quả khớp trong một khoảng cách chỉnh sửa nhất định của hàm băm. Theo tôi hiểu, khoảng cách Levenshtein với các chuỗi có độ dài bằng nhau là khoảng cách chức năng, do đó, có ít nhất một số hỗ trợ hiện có cho những gì tôi muốn, mặc dù không có cách rõ ràng nào để tạo chỉ mục từ đó (hãy nhớ, giá trị tôi đang truy vấn Tôi không thể tính toán trước khoảng cách từ một giá trị cố định, vì điều đó sẽ chỉ hữu ích cho một giá trị đó).

Các giá trị băm hiện được lưu trữ dưới dạng chuỗi 64 char chứa mã hóa nhị phân ASCII của hàm băm (ví dụ: "10010101 ..."), nhưng tôi có thể chuyển đổi chúng thành int64 đủ dễ dàng. Vấn đề thực sự là tôi cần có khả năng truy vấn tương đối nhanh.

Có vẻ như có thể đạt được điều gì đó theo những gì tôi muốn với pg_trgm, nhưng tôi không rõ về cách thức hoạt động của trigram phù hợp với hoạt động (cụ thể là, số liệu tương tự mà nó trả về thực sự đại diện cho cái gì? loại giống như khoảng cách chỉnh sửa).

Hiệu suất chèn không quan trọng (rất tốn kém về mặt tính toán để tính băm cho mỗi hàng), vì vậy tôi chủ yếu quan tâm đến việc tìm kiếm.

Chà, tôi đã dành một khoảng thời gian để xem việc viết một phần mở rộng C tùy chỉnh postgres, và chỉ cần viết một trình bao bọc cơ sở dữ liệu Cython duy trì cấu trúc cây BK trong bộ nhớ.

Về cơ bản, nó duy trì một bản sao trong bộ nhớ của các giá trị phash từ cơ sở dữ liệu và tất cả các bản cập nhật cho cơ sở dữ liệu được phát lại vào cây BK.

Tất cả đều ở trên github ở đây . Nó cũng có rất nhiều bài kiểm tra đơn vị.

Truy vấn trên bộ dữ liệu gồm 10 triệu giá trị băm cho các mục có khoảng cách 4 kết quả khi chạm ~ 0,25% -0,5% giá trị trong cây và mất ~ 100 ms.

TRẢ LỜI NHẤT!

Ok, cuối cùng tôi đã dành thời gian để viết một phần mở rộng lập chỉ mục PostgreSQL tùy chỉnh. Tôi đã sử dụng giao diện SP-GiST .

Điều này khá khó khăn, chủ yếu là do Posgres rất lớn .

Dù sao, như thường lệ, nó ở trên github ở đây .

Hiệu suất khôn ngoan, hiện tại chậm hơn ~ 2-3 lần so với triển khai bộ nhớ thuần trong câu trả lời khác của tôi cho câu hỏi này, nhưng nó thuận tiện hơn nhiều khi sử dụng Tôi sẽ vui vẻ ăn hiệu suất đó (thực tế, nó ~ 50 ms / truy vấn - 150 ms / truy vấn, vẫn còn khá nhỏ).