Tại sao MYSQL bù LIMIT cao hơn làm chậm truy vấn?

Tóm lại kịch bản: Một bảng có hơn 16 triệu bản ghi [kích thước 2GB]. Độ lệch LIMIT càng cao với CHỌN, truy vấn càng trở nên chậm hơn, khi sử dụng ORDER BY * chính_key *

Vì thế

SELECT * FROM large ORDER BY `id`  LIMIT 0, 30 

mất ít hơn nhiều

SELECT * FROM large ORDER BY `id` LIMIT 10000, 30 

Điều đó chỉ đặt hàng 30 hồ sơ và dù sao đi nữa. Vì vậy, nó không phải là chi phí từ ORDER BY.
Bây giờ khi tìm nạp 30 hàng mới nhất, sẽ mất khoảng 180 giây. Làm thế nào tôi có thể tối ưu hóa truy vấn đơn giản đó?

Điều bình thường là độ lệch cao hơn làm chậm truy vấn, vì truy vấn cần phải loại bỏ các OFFSET + LIMITbản ghi đầu tiên (và chỉ lấy LIMITchúng). Giá trị này càng cao, truy vấn càng chạy lâu.

Truy vấn không thể đi đúng OFFSETbởi vì, thứ nhất, các bản ghi có thể có độ dài khác nhau và thứ hai, có thể có những khoảng trống từ các bản ghi bị xóa. Nó cần kiểm tra và đếm từng bản ghi trên đường đi.

Giả sử idlà một PRIMARY KEYcủa một MyISAMbảng, bạn có thể tăng tốc nó lên bằng cách sử dụng thủ thuật này:

SELECT  t.*
FROM    (
        SELECT  id
        FROM    mytable
        ORDER BY
                id
        LIMIT 10000, 30
        ) q
JOIN    mytable t
ON      t.id = q.id

Xem bài viết này:

• Hiệu suất của MySQL ORDER BY / LIMIT: tra cứu hàng muộn

Tôi đã có cùng một vấn đề chính mình. Với thực tế là bạn muốn thu thập một lượng lớn dữ liệu này và không phải là một bộ 30 cụ thể, bạn có thể sẽ chạy một vòng lặp và tăng phần bù lên 30.

Vì vậy, những gì bạn có thể làm thay vào đó là:

1. Giữ id cuối cùng của một tập hợp dữ liệu (30) (ví dụ lastId = 530)
2. Thêm điều kiện WHERE id > lastId limit 0,30

Vì vậy, bạn luôn có thể có một số bù ZERO. Bạn sẽ ngạc nhiên bởi sự cải thiện hiệu suất.

MySQL không thể truy cập trực tiếp vào bản ghi thứ 10000 (hoặc byte thứ 80000 như đề xuất của bạn) bởi vì nó không thể giả định rằng nó được đóng gói / sắp xếp như thế (hoặc nó có các giá trị liên tục trong 1 đến 10000). Mặc dù có thể là như vậy trong thực tế, MySQL không thể cho rằng không có lỗ hổng / lỗ hổng / id bị xóa.

Vì vậy, như bobs đã lưu ý, MySQL sẽ phải tìm nạp 10000 hàng (hoặc duyệt qua 10000 mục của chỉ mục trên id) trước khi tìm thấy 30 để trả về.

EDIT : Để minh họa quan điểm của tôi

Lưu ý rằng mặc dù

SELECT * FROM large ORDER BY id LIMIT 10000, 30 

sẽ chậm (er) ,

SELECT * FROM large WHERE id >  10000 ORDER BY id LIMIT 30 

sẽ nhanh (er) và sẽ trả về kết quả tương tự với điều kiện là không thiếu ids (tức là khoảng trống).

Tôi đã tìm thấy một ví dụ thú vị để tối ưu hóa các truy vấn CHỌN ĐẶT HÀNG B idNG id LIMIT X, Y. Tôi có 35 triệu hàng nên mất 2 phút để tìm một loạt các hàng.

Đây là mẹo:

select id, name, address, phone
FROM customers
WHERE id > 990
ORDER BY id LIMIT 1000;

Chỉ cần đặt WHERE với id cuối cùng bạn đã tăng hiệu suất rất nhiều. Đối với tôi đó là từ 2 phút đến 1 giây :)

Các thủ thuật thú vị khác tại đây: http://www.iheavy.com/2013/06/19/3-ways-to-optizes-for-paging-in-mysql/

Nó cũng hoạt động với chuỗi

Phần tốn thời gian của hai truy vấn là lấy các hàng từ bảng. Nói một cách logic, trong LIMIT 0, 30phiên bản, chỉ cần lấy 30 hàng. Trong LIMIT 10000, 30phiên bản, 10000 hàng được ước tính và 30 hàng được trả về. Có thể có một số tối ưu hóa có thể được thực hiện trong quá trình đọc dữ liệu của tôi, nhưng hãy xem xét những điều sau:

Điều gì nếu bạn có một mệnh đề WHERE trong các truy vấn? Công cụ phải trả về tất cả các hàng đủ điều kiện, sau đó sắp xếp dữ liệu và cuối cùng nhận được 30 hàng.

Cũng xem xét trường hợp các hàng không được xử lý trong chuỗi ORDER BY. Tất cả các hàng đủ điều kiện phải được sắp xếp để xác định hàng nào sẽ trả về.

Đối với những người quan tâm đến một so sánh và số liệu :)

Thí nghiệm 1: Tập dữ liệu chứa khoảng 100 triệu hàng. Mỗi hàng chứa một số BIGINT, TINYINT, cũng như hai trường văn bản (cố ý) chứa khoảng 1k ký tự.

• Màu xanh: = SELECT * FROM post ORDER BY id LIMIT {offset}, 5
• Cam: = @ Phương pháp của Quassnoi. SELECT t.* FROM (SELECT id FROM post ORDER BY id LIMIT {offset}, 5) AS q JOIN post t ON t.id = q.id
• Tất nhiên, phương pháp thứ ba, ... WHERE id>xxx LIMIT 0,5không xuất hiện ở đây vì nó phải là thời gian không đổi.

Thí nghiệm 2: Điều tương tự, ngoại trừ một hàng chỉ có 3 BIGINT.

• màu xanh lá cây: = màu xanh trước
• đỏ: = cam trước