Nhập / Lập chỉ mục tệp JSON vào Elasticsearch

Tôi mới sử dụng Elasticsearch và đã nhập dữ liệu theo cách thủ công cho đến thời điểm này. Ví dụ, tôi đã làm một cái gì đó như thế này:

$ curl -XPUT 'http://localhost:9200/twitter/tweet/1' -d '{
    "user" : "kimchy",
    "post_date" : "2009-11-15T14:12:12",
    "message" : "trying out Elastic Search"
}'

Bây giờ tôi có một tệp .json và tôi muốn lập chỉ mục tệp này vào Elasticsearch. Tôi cũng đã thử một cái gì đó như thế này, nhưng không thành công:

curl -XPOST 'http://jfblouvmlxecs01:9200/test/test/1' -d lane.json

Làm cách nào để nhập tệp .json? Có những bước nào tôi cần thực hiện trước để đảm bảo ánh xạ là chính xác không?

Lệnh phù hợp nếu bạn muốn sử dụng tệp có curl là:

curl -XPOST 'http://jfblouvmlxecs01:9200/test/_doc/1' -d @lane.json

Elasticsearch là không có schemaless, do đó bạn không nhất thiết phải ánh xạ. Nếu bạn gửi json như hiện tại và bạn sử dụng ánh xạ mặc định, mọi trường sẽ được lập chỉ mục và phân tích bằng trình phân tích tiêu chuẩn .

Nếu bạn muốn tương tác với Elasticsearch thông qua dòng lệnh, bạn có thể muốn xem qua lớp vỏ đàn hồi , loại vỏ này sẽ thủ công hơn một chút so với cuộn tròn.

2019-07-10: Cần lưu ý rằng các loại ánh xạ tùy chỉnh không được dùng nữa và không nên sử dụng. Tôi đã cập nhật loại trong url ở trên để giúp dễ dàng xem đâu là chỉ mục và đâu là loại vì cả hai đều có tên là "kiểm tra" gây nhầm lẫn.

Theo tài liệu hiện tại, https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-bulk.html :

Nếu bạn đang cung cấp đầu vào tệp văn bản để cuộn tròn, bạn phải sử dụng cờ --data-binary thay vì -d thuần túy. Cái sau không bảo toàn dòng mới.

Thí dụ:

$ curl -s -XPOST localhost:9200/_bulk --data-binary @requests

Chúng tôi đã tạo một công cụ nhỏ cho loại thứ này https://github.com/taskrabbit/elasticsearch-dump

Tôi là tác giả củaasticsearch_loader,
tôi đã viết ESL cho vấn đề chính xác này.

Bạn có thể tải xuống bằng pip:

pip install elasticsearch-loader

Và sau đó, bạn sẽ có thể tải các tệp json vàoasticsearch bằng cách phát hành:

elasticsearch_loader --index incidents --type incident json file1.json file2.json

Thêm vào câu trả lời của KenH

$ curl -s -XPOST localhost:9200/_bulk --data-binary @requests

Bạn có thể thay thế @requestsbằng@complete_path_to_json_file

Lưu ý: @rất quan trọng trước đường dẫn tệp

Một điều mà tôi chưa thấy ai đề cập: tệp JSON phải có một dòng chỉ định chỉ mục mà dòng tiếp theo thuộc về, cho mọi dòng của tệp JSON "thuần túy".

I E

{"index":{"_index":"shakespeare","_type":"act","_id":0}}
{"line_id":1,"play_name":"Henry IV","speech_number":"","line_number":"","speaker":"","text_entry":"ACT I"}

Không có điều đó, không có gì hoạt động và nó sẽ không cho bạn biết tại sao

Tôi chỉ đảm bảo rằng tôi đang ở trong cùng một thư mục với tệp json và sau đó chỉ cần chạy nó

curl -s -H "Content-Type: application/json" -XPOST localhost:9200/product/default/_bulk?pretty --data-binary @product.json

Vì vậy, nếu bạn cũng đảm bảo rằng bạn đang ở cùng một thư mục và chạy nó theo cách này. Lưu ý: product / default / trong lệnh là một cái gì đó cụ thể cho môi trường của tôi. bạn có thể bỏ qua hoặc thay thế nó bằng bất cứ thứ gì có liên quan đến bạn.

chỉ cần yêu cầu người đưa thư từ https://www.getpostman.com/docs/en canh cung cấp cho nó vị trí tệp bằng lệnh / test / test / 1 / _bulk? pretty.

Bạn đang sử dụng

$ curl -s -XPOST localhost:9200/_bulk --data-binary @requests

Nếu 'yêu cầu' là tệp json thì bạn phải thay đổi tệp này thành

$ curl -s -XPOST localhost:9200/_bulk --data-binary @requests.json

Trước đó, nếu tệp json của bạn không được lập chỉ mục, bạn phải chèn một dòng chỉ mục trước mỗi dòng bên trong tệp json. Bạn có thể làm điều này với JQ. Tham khảo link bên dưới: http://kevinmarsh.com/2014/10/23/using-jq-to-import-json-into-elasticsearch.html

Đi tới hướng dẫn tìm kiếm đàn hồi (ví dụ hướng dẫn shakespeare) và tải xuống mẫu tệp json được sử dụng và xem nó. Ở phía trước của mỗi đối tượng json (mỗi dòng riêng lẻ) có một dòng chỉ mục. Đây là những gì bạn đang tìm kiếm sau khi sử dụng lệnh jq. Định dạng này là bắt buộc để sử dụng API hàng loạt, các tệp json thuần túy sẽ không hoạt động.

Kể từ Elasticsearch 7.7, bạn cũng phải chỉ định loại nội dung:

curl -s -H "Content-Type: application/json" -XPOST localhost:9200/_bulk --data-binary @<absolute path to JSON file>

nếu bạn đang sử dụng VirtualBox và UBUNTU trong đó hoặc đơn giản là bạn đang sử dụng UBUNTU thì nó có thể hữu ích

wget https://github.com/andrewvc/ee-datasets/archive/master.zip
sudo apt-get install unzip (only if unzip module is not installed)
unzip master.zip
cd ee-datasets
java -jar elastic-loader.jar http://localhost:9200 datasets/movie_db.eloader

Tôi đã viết một số mã để hiển thị API Elasticsearch thông qua API hệ thống tệp.

Ví dụ, bạn nên xuất / nhập dữ liệu một cách rõ ràng.

Tôi tạo ra nguyên mẫu elasticdriver . Nó dựa trên FUSE

• Nếu bạn đang sử dụng tìm kiếm đàn hồi phiên bản 7.7 trở lên thì hãy làm theo lệnh dưới đây.

  curl -H "Content-Type: application/json" -XPOST "localhost:9200/bank/_bulk? pretty&refresh" --data-binary @"/Users/waseem.khan/waseem/elastic/account.json"

• Trên đường dẫn tệp trên là /Users/waseem.khan/waseem/elastic/account.json.

• Nếu bạn đang sử dụng phiên bản tìm kiếm đàn hồi 6.x thì bạn có thể sử dụng lệnh dưới đây.

curl -X POST localhost:9200/bank/_bulk?pretty&refresh --data-binary @"/Users/waseem.khan/waseem/elastic/account.json" -H 'Content-Type: application/json'

Lưu ý : Đảm bảo rằng trong tệp .json của bạn ở cuối, bạn sẽ thêm một dòng trống nếu không bạn sẽ nhận được ngoại lệ bên dưới.

"error" : {
"root_cause" : [
  {
    "type" : "illegal_argument_exception",
    "reason" : "The bulk request must be terminated by a newline [\n]"
  }
],
"type" : "illegal_argument_exception",
"reason" : "The bulk request must be terminated by a newline [\n]"
},
`enter code here`"status" : 400