Thuật toán hiệu quả cho khoảng cách chỉnh sửa cho các chuỗi ngắn

Tôi có một ứng dụng cần tính toán hàng tỷ khoảng cách levenshtein giữa các cặp chuỗi. Các chuỗi là các chuỗi DNA ngắn (dài 70), chỉ bao gồm 4 ký tự. Ngoài ra, có thể giả định rằng một trong các chuỗi là cố định, nghĩa là chúng ta đang so sánh một chuỗi cố định với một tỷ chuỗi khác.

Tôi biết rằng việc triển khai lập trình động của khoảng cách levenshtein là , muốn biết liệu có chỗ nào cần cải thiện không. Tôi tìm thấy hai thuật toán:$\mathcal{O}(m n)$

• $\mathcal{O}(n + d^2)$Thuật toán , trong đó là khoảng cách chỉnh sửa của Berghel et al . Tuy nhiên tôi không thể đưa ra giả định rằng nhỏ nên nó có thể không mang lại lợi thế nào$d$$d$
• $log(n)^{\mathcal{O}(1/\epsilon)}$ xấp xỉ trong thời gian của Andoni et al . Nhưng tôi có hai mối quan tâm về điều này: $n^{1+\epsilon}$
  • Là thuật toán này cũng nhanh trong thực tế?
  • Liệu có nghĩa là khoảng cách chỉnh sửa được tính toán trong trường hợp xấu nhất là lần so với thực tế ? Trong trường hợp đó là quá nhiều.$log(n)^{\mathcal{O}(1/\epsilon)}$$log(n)^{\mathcal{O}(1/\epsilon)}$

Bạn có biết bất kỳ thuật toán / ý tưởng / cách tiếp cận nào khác có thể áp dụng không?

Một cách tiếp cận là xây dựng một máy tự động Levenshtein cho chuỗi cố định (xem, ví dụ, ở đây ). Cho một chuỗi$x$ và một khoảng cách$D$, bạn có thể xây dựng một DFA nhận ra tất cả các chuỗi ở khoảng cách xa $\le D$ từ $x$. Vì vậy, bạn có thể kiểm tra xem một chuỗi có gần với$x$ trong $O(n)$ thời gian, ở đâu $n$là độ dài của chuỗi. Tôi không chắc yêu cầu không gian là gì để lưu trữ DFA (chúng là tuyến tính trong$m,n$, nhưng có thể theo cấp số nhân trong $D$).

Ngoài ra, bạn có thể sử dụng thuật toán "xuất phát sớm" để tính toán khoảng cách chỉnh sửa. Bạn đã đề cập rằng bạn chỉ quan tâm đến khoảng cách chỉnh sửa nếu nó nhỏ hơn một số ngưỡng$D$. Có một thuật toán "xuất phát sớm" để tính toán khoảng cách chỉnh sửa có thời gian chạy là$O(\max(n,m) \times D)$, Mà tính toán chỉnh sửa khoảng cách nếu nó là hoặc đầu ra khác "quá lớn" nếu nó là . Về cơ bản, bạn làm như thuật toán quy hoạch động tiêu chuẩn cho chỉnh sửa khoảng cách, nhưng chỉ tính toán các yếu tố của ma trận là ra khỏi đường chéo. Trong trường hợp của bạn, điều này có thể hoặc có thể không tốt hơn các lựa chọn thay thế khác.$\le D$$>D$$\le D$

Nếu tôi phải làm hàng tỷ và chỉ có 4 ký tự thì tôi sẽ đại diện cho các ký tự là
1000
0100
0010
0001
Đó là số nguyên 35 byte

Chấm một chút khôn ngoan andvà đếm 1

Không hoàn hảo nhưng hàng tỷ là rất nhiều trừ khi bạn ném rất nhiều CPU vào nó.