Cách tìm kiếm một phần của từ bằng Tìm kiếm đàn hồi

Gần đây tôi đã bắt đầu sử dụng ElasticSearch và dường như tôi không thể tìm kiếm nó cho một phần của từ.

Ví dụ: Tôi có ba tài liệu từ couchdb của tôi được lập chỉ mục trong ElasticSearch:

{
  "_id" : "1",
  "name" : "John Doeman",
  "function" : "Janitor"
}
{
  "_id" : "2",
  "name" : "Jane Doewoman",
  "function" : "Teacher"
}
{
  "_id" : "3",
  "name" : "Jimmy Jackal",
  "function" : "Student"
} 

Vì vậy, bây giờ, tôi muốn tìm kiếm tất cả các tài liệu có chứa "Doe"

curl http://localhost:9200/my_idx/my_type/_search?q=Doe

Điều đó không trả lại bất kỳ lượt truy cập. Nhưng nếu tôi tìm kiếm

curl http://localhost:9200/my_idx/my_type/_search?q=Doeman

Nó trả về một tài liệu (John Doeman).

Tôi đã thử đặt các máy phân tích khác nhau và các bộ lọc khác nhau làm thuộc tính cho chỉ mục của mình. Tôi cũng đã thử sử dụng một truy vấn đầy đủ (ví dụ:

{
  "query": {
    "term": {
      "name": "Doe"
    }
  }
}

) Nhưng dường như không có gì để làm việc.

Làm cách nào tôi có thể làm cho Tìm kiếm đàn hồi tìm thấy cả John Doeman và Jane Doewoman khi tôi tìm kiếm "Doe"?

CẬP NHẬT

Tôi đã cố gắng sử dụng mã thông báo và bộ lọc nGram, như đề xuất của Igor, như thế này:

{
  "index": {
    "index": "my_idx",
    "type": "my_type",
    "bulk_size": "100",
    "bulk_timeout": "10ms",
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "type": "custom",
          "tokenizer": "my_ngram_tokenizer",
          "filter": [
            "my_ngram_filter"
          ]
        }
      },
      "filter": {
        "my_ngram_filter": {
          "type": "nGram",
          "min_gram": 1,
          "max_gram": 1
        }
      },
      "tokenizer": {
        "my_ngram_tokenizer": {
          "type": "nGram",
          "min_gram": 1,
          "max_gram": 1
        }
      }
    }
  }
}

Vấn đề tôi gặp phải bây giờ là mỗi truy vấn trả về TẤT CẢ các tài liệu. Bất kỳ con trỏ? Tài liệu về Tìm kiếm đàn hồi khi sử dụng nGram không tuyệt vời ...

Tôi cũng đang sử dụng nGram. Tôi sử dụng mã thông báo tiêu chuẩn và nGram giống như một bộ lọc. Đây là thiết lập của tôi:

{
  "index": {
    "index": "my_idx",
    "type": "my_type",
    "analysis": {
      "index_analyzer": {
        "my_index_analyzer": {
          "type": "custom",
          "tokenizer": "standard",
          "filter": [
            "lowercase",
            "mynGram"
          ]
        }
      },
      "search_analyzer": {
        "my_search_analyzer": {
          "type": "custom",
          "tokenizer": "standard",
          "filter": [
            "standard",
            "lowercase",
            "mynGram"
          ]
        }
      },
      "filter": {
        "mynGram": {
          "type": "nGram",
          "min_gram": 2,
          "max_gram": 50
        }
      }
    }
  }
}

Hãy để bạn tìm các phần từ lên đến 50 chữ cái. Điều chỉnh max_gram khi bạn cần. Trong các từ tiếng Đức có thể trở nên thực sự lớn, vì vậy tôi đặt nó thành một giá trị cao.

Tìm kiếm với các ký tự đại diện hàng đầu và dấu vết sẽ cực kỳ chậm trên một chỉ mục lớn. Nếu bạn muốn có thể tìm kiếm theo tiền tố từ, hãy xóa ký tự đại diện hàng đầu. Nếu bạn thực sự cần tìm một chuỗi con ở giữa một từ, bạn sẽ tốt hơn khi sử dụng ngram tokenizer.

Tôi nghĩ rằng không cần phải thay đổi bất kỳ ánh xạ. Hãy thử sử dụng query_ chuỗi , nó hoàn hảo. Tất cả các kịch bản sẽ hoạt động với bộ phân tích tiêu chuẩn mặc định:

Chúng tôi có dữ liệu:

{"_id" : "1","name" : "John Doeman","function" : "Janitor"}
{"_id" : "2","name" : "Jane Doewoman","function" : "Teacher"}

Cảnh 1:

{"query": {
    "query_string" : {"default_field" : "name", "query" : "*Doe*"}
} }

Phản ứng:

{"_id" : "1","name" : "John Doeman","function" : "Janitor"}
{"_id" : "2","name" : "Jane Doewoman","function" : "Teacher"}

Kịch bản 2:

{"query": {
    "query_string" : {"default_field" : "name", "query" : "*Jan*"}
} }

Phản ứng:

{"_id" : "1","name" : "John Doeman","function" : "Janitor"}

Kịch bản 3:

{"query": {
    "query_string" : {"default_field" : "name", "query" : "*oh* *oe*"}
} }

Phản ứng:

{"_id" : "1","name" : "John Doeman","function" : "Janitor"}
{"_id" : "2","name" : "Jane Doewoman","function" : "Teacher"}

EDIT - Thực hiện tương tự với tìm kiếm đàn hồi dữ liệu mùa xuân https://stackoverflow.com/a/43579948/2357869

Thêm một lời giải thích làm thế nào query_ chuỗi tốt hơn những cái khác https://stackoverflow.com/a/43321606/2357869

không thay đổi ánh xạ chỉ mục của bạn, bạn có thể thực hiện một truy vấn tiền tố đơn giản sẽ thực hiện tìm kiếm một phần như bạn đang hy vọng

I E.

{
  "query": { 
    "prefix" : { "name" : "Doe" }
  }
}

https://www.elastic.co/guide/en/elSTERearch/reference/civerse/query-dsl-prefix-query.html

Hãy thử giải pháp với được mô tả ở đây: Tìm kiếm chuỗi con chính xác trong ElasticSearch

{
    "mappings": {
        "my_type": {
            "index_analyzer":"index_ngram",
            "search_analyzer":"search_ngram"
        }
    },
    "settings": {
        "analysis": {
            "filter": {
                "ngram_filter": {
                    "type": "ngram",
                    "min_gram": 3,
                    "max_gram": 8
                }
            },
            "analyzer": {
                "index_ngram": {
                    "type": "custom",
                    "tokenizer": "keyword",
                    "filter": [ "ngram_filter", "lowercase" ]
                },
                "search_ngram": {
                    "type": "custom",
                    "tokenizer": "keyword",
                    "filter": "lowercase"
                }
            }
        }
    }
}

Để giải quyết vấn đề sử dụng đĩa và các vấn đề quá dài hạn tìm kiếm ngắn 8 ký tự dài ngrams được sử dụng (cấu hình với: "max_gram": 8 ). Để tìm kiếm các cụm từ có nhiều hơn 8 ký tự, hãy biến tìm kiếm của bạn thành một boolean VÀ truy vấn tìm kiếm mọi chuỗi con 8 ký tự riêng biệt trong chuỗi đó. Ví dụ: nếu người dùng tìm kiếm khoảng sân rộng (chuỗi 10 ký tự), tìm kiếm sẽ là:

"Arge ya VÀ arge yar VÀ sân rge .

Nếu bạn muốn thực hiện chức năng tự động hoàn thành, thì Hoàn thành Suggester là giải pháp gọn gàng nhất. Các bài đăng blog tiếp theo chứa một mô tả rất rõ ràng làm thế nào điều này hoạt động.

Nói cách khác, đó là cấu trúc dữ liệu trong bộ nhớ được gọi là FST chứa các đề xuất hợp lệ và được tối ưu hóa để truy xuất nhanh và sử dụng bộ nhớ. Về cơ bản, nó chỉ là một biểu đồ. Ví dụ, và FST có chứa các từ hotel, marriot, mercure, munchenvà munichsẽ trông như thế này:

bạn có thể sử dụng regrec.

{ "_id" : "1", "name" : "John Doeman" , "function" : "Janitor"}
{ "_id" : "2", "name" : "Jane Doewoman","function" : "Teacher"  }
{ "_id" : "3", "name" : "Jimmy Jackal" ,"function" : "Student"  } 

nếu bạn sử dụng truy vấn này:

{
  "query": {
    "regexp": {
      "name": "J.*"
    }
  }
}

bạn sẽ cung cấp cho tất cả dữ liệu tên của họ bắt đầu bằng "J". Người kiểm tra bạn muốn nhận chỉ hai bản ghi đầu tiên rằng tên của họ kết thúc bằng "người đàn ông" để bạn có thể sử dụng truy vấn này:

{
  "query": { 
    "regexp": {
      "name": ".*man"
    }
  }
}

và nếu bạn muốn nhận tất cả các bản ghi trong tên của chúng tồn tại "m", bạn có thể sử dụng truy vấn này:

{
  "query": { 
    "regexp": {
      "name": ".*m.*"
    }
  }
}

Điều này làm việc cho tôi. Và tôi hy vọng câu trả lời của tôi phù hợp để giải quyết vấn đề của bạn.

Sử dụng wilcards (*) để ngăn chặn điểm số

Tôi đang sử dụng cái này và tôi đã làm việc

"query": {
        "query_string" : {
            "query" : "*test*",
            "fields" : ["field1","field2"],
            "analyze_wildcard" : true,
            "allow_leading_wildcard": true
        }
    }

Đừng bận tâm.

Tôi đã phải xem tài liệu Lucene. Có vẻ tôi có thể sử dụng ký tự đại diện! :-)

curl http://localhost:9200/my_idx/my_type/_search?q=*Doe*

lừa