Mức sử dụng dữ liệu trong bộ đệm của giai đoạn sắp xếp tràn vượt quá giới hạn nội bộ

Sử dụng mã:

all_reviews = db_handle.find().sort('reviewDate', pymongo.ASCENDING)
print all_reviews.count()

print all_reviews[0]
print all_reviews[2000000]

Số đếm sẽ in 2043484, và nó sẽ in all_reviews[0].

Tuy nhiên, khi in all_reviews[2000000], tôi gặp lỗi:

pymongo.errors.OperationFailure: lỗi cơ sở dữ liệu: Lỗi trình chạy: Mức sử dụng dữ liệu đệm trong giai đoạn sắp xếp tràn là 33554495 byte vượt quá giới hạn nội bộ là 33554432 byte

Làm thế nào để tôi xử lý điều này?

Bạn sắp đạt đến giới hạn 32MB theo cách sắp xếp trong bộ nhớ:

https://docs.mongodb.com/manual/reference/limits/#Sort-Operations

Thêm chỉ mục vào trường sắp xếp. Điều đó cho phép MongoDB truyền tải tài liệu cho bạn theo thứ tự được sắp xếp, thay vì cố gắng tải tất cả chúng vào bộ nhớ trên máy chủ và sắp xếp chúng trong bộ nhớ trước khi gửi đến máy khách.

Như đã nói kumar_harshtrong phần nhận xét, tôi muốn thêm một điểm khác.

Bạn có thể xem việc sử dụng bộ đệm hiện tại bằng lệnh dưới đây trên admincơ sở dữ liệu:

> use admin
switched to db admin
> db.runCommand( { getParameter : 1, "internalQueryExecMaxBlockingSortBytes" : 1 } )
{ "internalQueryExecMaxBlockingSortBytes" : 33554432, "ok" : 1 }

Nó có giá trị mặc định là 32 MB (33554432 byte) . Trong trường hợp này, bạn đang thiếu dữ liệu bộ đệm, vì vậy bạn có thể tăng giới hạn bộ đệm với giá trị tối ưu được xác định của riêng bạn, ví dụ 50 MB như sau:

>  db.adminCommand({setParameter: 1, internalQueryExecMaxBlockingSortBytes:50151432})
{ "was" : 33554432, "ok" : 1 }

Chúng tôi cũng có thể đặt giới hạn này vĩnh viễn bằng tham số dưới đây trong tệp cấu hình mongodb:

setParameter=internalQueryExecMaxBlockingSortBytes=309715200

Hi vọng điêu nay co ich !!!

Note: Lệnh này chỉ hỗ trợ sau phiên bản 3.0 +

giải quyết bằng lập chỉ mục

db_handle.ensure_index([("reviewDate", pymongo.ASCENDING)])

Nếu bạn muốn tránh tạo chỉ mục (ví dụ bạn chỉ muốn kiểm tra nhanh và nhanh để khám phá dữ liệu), bạn có thể sử dụng tính năng tổng hợp với việc sử dụng đĩa:

all_reviews = db_handle.aggregate([{$sort: {'reviewDate': 1}}], {allowDiskUse: true})

(Tuy nhiên, không chắc chắn cách thực hiện điều này trong pymongo).

Cú pháp API JavaScript cho chỉ mục:

db_handle.ensureIndex({executedDate: 1})

Trong trường hợp của tôi, cần phải sửa các chỉ mục nessary trong mã và tạo lại chúng:

rake db:mongoid:create_indexes RAILS_ENV=production

Vì tràn bộ nhớ không xảy ra khi có chỉ mục cần thiết của trường.

PS Trước đây, tôi phải vô hiệu hóa các lỗi khi tạo các chỉ mục dài:

# mongo
MongoDB shell version: 2.6.12
connecting to: test
> db.getSiblingDB('admin').runCommand( { setParameter: 1, failIndexKeyTooLong: false } )

Cũng có thể cần reIndex:

# mongo
MongoDB shell version: 2.6.12
connecting to: test
> use your_db
switched to db your_db
> db.getCollectionNames().forEach( function(collection){ db[collection].reIndex() } )