Mongoose giới hạn / bù đắp và truy vấn đếm

Question 1

Có một chút kỳ lạ về hiệu suất truy vấn ... Tôi cần chạy một truy vấn có tổng số tài liệu và cũng có thể trả về một tập kết quả có thể được giới hạn và bù đắp.

Vì vậy, tôi có tổng cộng 57 tài liệu và người dùng muốn 10 tài liệu bù lại 20.

Tôi có thể nghĩ ra 2 cách để làm điều này, đầu tiên là truy vấn cho tất cả 57 tài liệu (trả về dưới dạng mảng), sau đó sử dụng array.slice trả về tài liệu mà họ muốn. Tùy chọn thứ hai là chạy 2 truy vấn, truy vấn đầu tiên sử dụng phương pháp 'đếm' gốc của mongo, sau đó chạy truy vấn thứ hai bằng cách sử dụng trình tổng hợp $ gốc và $ bỏ qua của mongo.

Bạn nghĩ cái nào sẽ mở rộng quy mô tốt hơn? Thực hiện tất cả trong một truy vấn hay chạy hai truy vấn riêng biệt?

Biên tập:

// 1 query
var limit = 10;
var offset = 20;

Animals.find({}, function (err, animals) {
    if (err) {
        return next(err);
    }

    res.send({count: animals.length, animals: animals.slice(offset, limit + offset)});
});


// 2 queries
Animals.find({}, {limit:10, skip:20} function (err, animals) {            
    if (err) {
        return next(err);
    }

    Animals.count({}, function (err, count) {
        if (err) {
            return next(err);
        }

        res.send({count: count, animals: animals});
    });
});

Question 2

Tôi đề nghị bạn sử dụng 2 truy vấn:

db.collection.count()sẽ trả về tổng số mục. Giá trị này được lưu trữ ở đâu đó trong Mongo và nó không được tính toán.
db.collection.find().skip(20).limit(10)ở đây tôi giả sử bạn có thể sử dụng sắp xếp theo trường nào đó, vì vậy đừng quên thêm chỉ mục vào trường này. Truy vấn này cũng sẽ nhanh chóng.

Tôi nghĩ rằng bạn không nên truy vấn tất cả các mục và thực hiện bỏ qua và lấy, vì sau này khi bạn có dữ liệu lớn, bạn sẽ gặp vấn đề với việc truyền và xử lý dữ liệu.

Question 3

Thay vì sử dụng 2 truy vấn riêng biệt, bạn có thể sử dụng aggregate()trong một truy vấn duy nhất:

Tổng hợp "$ facet" có thể được tìm nạp nhanh hơn, Tổng số và Dữ liệu có bỏ qua & giới hạn

    db.collection.aggregate([

      //{$sort: {...}}

      //{$match:{...}}

      {$facet:{

        "stage1" : [ {"$group": {_id:null, count:{$sum:1}}} ],

        "stage2" : [ { "$skip": 0}, {"$limit": 2} ]
  
      }},
     
     {$unwind: "$stage1"},
  
      //output projection
     {$project:{
        count: "$stage1.count",
        data: "$stage2"
     }}

 ]);

đầu ra như sau: -

[{
     count: 50,
     data: [
        {...},
        {...}
      ]
 }]

Ngoài ra, hãy xem tại https://docs.mongodb.com/manual/reference/operator/aggregation/facet/

Question 4

Sau khi phải tự mình giải quyết vấn đề này, tôi muốn dựa trên câu trả lời của người dùng854301.

Mongoose ^ 4.13.8 Tôi đã có thể sử dụng một hàm được gọi là toConstructor() cho phép tôi tránh tạo truy vấn nhiều lần khi áp dụng bộ lọc. Tôi biết chức năng này cũng có sẵn trong các phiên bản cũ hơn nhưng bạn sẽ phải kiểm tra tài liệu Mongoose để xác nhận điều này.

Những điều sau đây sử dụng Bluebird hứa hẹn:

let schema = Query.find({ name: 'bloggs', age: { $gt: 30 } });

// save the query as a 'template'
let query = schema.toConstructor();

return Promise.join(
    schema.count().exec(),
    query().limit(limit).skip(skip).exec(),

    function (total, data) {
        return { data: data, total: total }
    }
);

Bây giờ truy vấn đếm sẽ trả về tổng số bản ghi mà nó khớp và dữ liệu trả về sẽ là một tập hợp con của tổng số bản ghi.

Vui lòng lưu ý () xung quanh truy vấn () tạo truy vấn.

Question 5

Có một thư viện sẽ làm tất cả những điều này cho bạn, hãy xem mongoose-paginate-v2

Question 6

db.collection_name.aggregate([
    { '$match'    : { } },
    { '$sort'     : { '_id' : -1 } },
    { '$facet'    : {
        metadata: [ { $count: "total" } ],
        data: [ { $skip: 1 }, { $limit: 10 },{ '$project' : {"_id":0} } ] // add projection here wish you re-shape the docs
    } }
] )

Thay vì sử dụng hai truy vấn để tìm tổng số và bỏ qua bản ghi phù hợp.
$ facet là cách tốt nhất và được tối ưu hóa.

Phù hợp với kỷ lục
Tìm total_count
bỏ qua hồ sơ
Và cũng có thể định hình lại dữ liệu theo nhu cầu của chúng tôi trong truy vấn.