Tìm kiếm toàn văn bản với InnoDB

Tôi đang phát triển một ứng dụng web khối lượng lớn, trong đó một phần của nó là cơ sở dữ liệu MySQL gồm các bài đăng thảo luận sẽ cần phải tăng lên 20 triệu hàng trở lên một cách suôn sẻ.

Ban đầu tôi dự định sử dụng MyISAM cho các bảng (cho khả năng tìm kiếm văn bản đầy đủ được tích hợp sẵn ), nhưng ý nghĩ về việc toàn bộ bảng bị khóa do một thao tác ghi duy nhất khiến tôi thất vọng. Các khóa cấp độ hàng có ý nghĩa hơn nhiều (chưa kể đến các lợi thế tốc độ khác của InnoDB khi xử lý các bảng lớn). Vì vậy, vì lý do này, tôi khá quyết tâm sử dụng InnoDB.

Vấn đề là ... InnoDB không có khả năng tìm kiếm văn bản đầy đủ được tích hợp sẵn.

Tôi có nên sử dụng hệ thống tìm kiếm của bên thứ ba không? Giống như Lucene (c ++) / Sphinx ? Có bất kỳ ninja cơ sở dữ liệu nào có đề xuất / hướng dẫn không?Zoie của LinkedIn (dựa trên Lucene) có vẻ là lựa chọn tốt nhất vào lúc này... đã được xây dựng dựa trên các khả năng thời gian thực (điều này khá quan trọng đối với ứng dụng của tôi.) Tôi hơi do dự khi cam kết mà chưa có một số thông tin chi tiết ...

(FYI: sẽ có trên EC2 với các giàn bộ nhớ cao, sử dụng PHP để phục vụ giao diện người dùng)

Tôi có thể xác nhận rằng MyISAM fulltext là một lựa chọn tồi - thậm chí bỏ qua các vấn đề khác nhau với bảng MyISAM nói chung, tôi đã thấy nội dung đầy đủ đi ra khỏi đường ray và bắt đầu tự làm hỏng và thường xuyên làm hỏng MySQL.

Một công cụ tìm kiếm chuyên dụng chắc chắn sẽ là lựa chọn linh hoạt nhất ở đây - lưu trữ dữ liệu bài đăng trong MySQL / innodb, sau đó xuất văn bản sang công cụ tìm kiếm của bạn. Bạn có thể thiết lập một bản xây dựng / xuất bản chỉ mục đầy đủ định kỳ khá dễ dàng và thêm các bản cập nhật chỉ mục theo thời gian thực nếu bạn cảm thấy cần và muốn dành thời gian.

Lucene và Sphinx là những lựa chọn tốt, cũng như Xapian , nó đẹp và nhẹ. Nếu bạn đi theo con đường Lucene, đừng cho rằng Clucene sẽ tốt hơn, ngay cả khi bạn không muốn vật lộn với Java, mặc dù tôi không thực sự đủ điều kiện để thảo luận về ưu và nhược điểm của cả hai.

Cùng với việc loại bỏ MyISAM nói chung, tìm kiếm toàn văn InnoDB (FTS) cuối cùng cũng có sẵn trong bản phát hành MySQL 5.6.4.

Nhiều chi tiết hấp dẫn tại https://dev.mysql.com/doc/refman/5.6/en/innodb-fulltext-index.html .

Trong khi các công cụ khác có rất nhiều tính năng khác nhau, công cụ này là InnoDB, vì vậy nó là bản địa (có nghĩa là có một đường dẫn nâng cấp) và điều đó làm cho nó trở thành một lựa chọn đáng giá.

Bạn nên dành một giờ để cài đặt và lái thử Sphinx và Lucene. Xem nếu một trong hai đáp ứng nhu cầu của bạn, liên quan đến cập nhật dữ liệu.

Một trong những điều làm tôi thất vọng về Sphinx là nó không hỗ trợ các phép chèn gia tăng rất tốt. Đó là, rất tốn kém để lập chỉ mục sau khi chèn, đắt đến mức giải pháp được đề xuất của họ là chia dữ liệu của bạn thành các hàng cũ hơn, không thay đổi và các hàng mới hơn, dễ bay hơi. Vì vậy, mọi tìm kiếm mà ứng dụng của bạn thực hiện sẽ phải tìm kiếm hai lần: một lần trên chỉ mục lớn hơn cho các hàng cũ và cũng trên chỉ mục nhỏ hơn cho các hàng gần đây. Nếu điều đó không tích hợp với các kiểu sử dụng của bạn, thì Sphinx này không phải là một giải pháp tốt (ít nhất là không phải trong cách triển khai hiện tại của nó).

Tôi muốn chỉ ra một giải pháp khả thi khác mà bạn có thể xem xét: Tìm kiếm Tùy chỉnh của Google . Nếu bạn có thể áp dụng một số SEO cho ứng dụng web của mình, thì hãy thuê ngoài chức năng lập chỉ mục và tìm kiếm cho Google, đồng thời nhúng trường văn bản tìm kiếm của Google vào trang web của bạn. Đó có thể là cách kinh tế nhất và có thể mở rộng để làm cho trang web của bạn có thể tìm kiếm được.

Có lẽ bạn không nên loại bỏ FT của MySQL quá nhanh. Craigslist đã từng sử dụng nó .

Tốc độ của MySQL và Tìm kiếm toàn văn bản đã cho phép craigslist phục vụ người dùng của họ .. craigslist sử dụng MySQL để phục vụ khoảng 50 triệu tìm kiếm mỗi tháng với tốc độ lên đến 60 tìm kiếm mỗi giây. "

biên tập

Như nhận xét bên dưới, Craigslist dường như đã chuyển sang Sphinx vào đầu năm 2009.

Sphinx, như bạn đã chỉ ra, khá tốt cho công cụ này. Tất cả công việc nằm trong tệp cấu hình. Đảm bảo rằng bất kể bảng của bạn là gì với các chuỗi đều có khóa id số nguyên duy nhất và bạn sẽ ổn.

thử cái này

ROUND((LENGTH(text) - LENGTH(REPLACE(text, 'serchtext', ''))) / LENGTH('serchtext'),0)!=0

Bạn nên xem Sphinx. Lần thử thách này thật có giá trị. Nó được lập chỉ mục cực nhanh và nó được phân phối. Bạn nên xem qua (http://www.percona.com/webinars/2012-08-22-full-text-search-throwdown) webminar. Nó nói về tìm kiếm và có một số điểm chuẩn gọn gàng. Bạn có thể thấy nó hữu ích.

Nếu mọi thứ khác không thành công, luôn có soundex_match , điều đáng buồn là không thực sự nhanh và chính xác

Đối với bất kỳ ai bị mắc kẹt trên phiên bản MySQL / MariaDB cũ hơn (tức là người dùng CentOS) trong đó InnoDB không hỗ trợ tìm kiếm Fulltext, giải pháp của tôi khi sử dụng bảng InnoDB là tạo một bảng MyISAM riêng cho thứ tôi muốn tìm kiếm.

Ví dụ, bảng InnoDB chính của tôi productscó nhiều khóa và tính toàn vẹn tham chiếu. Sau đó, tôi tạo một bảng MyISAM đơn giản được gọi là product_searchcó chứa hai trường product_idvà product_namenơi sau này được đặt thành FULLTEXTchỉ mục. Cả hai trường đều là một bản sao của những gì trong productbảng chính .

Sau đó, tôi tìm kiếm trên bảng MyISAM bằng văn bản đầy đủ và thực hiện một phép nối bên trong trở lại bảng InnoDB.

Nội dung của bảng MyISAM có thể được cập nhật thông qua trình kích hoạt hoặc mô hình của ứng dụng.

Tôi sẽ không khuyến nghị điều này nếu bạn có nhiều bảng yêu cầu toàn văn, nhưng đối với một bảng duy nhất, nó có vẻ như là một công việc thích hợp cho đến khi bạn có thể nâng cấp.