MySQL - CHỌN trường WHERE IN (truy vấn con) - Cực kỳ chậm tại sao?

Tôi đã có một vài bản sao trong cơ sở dữ liệu mà tôi muốn kiểm tra, vì vậy những gì tôi đã làm để xem đó là bản sao nào, tôi đã làm điều này:

SELECT relevant_field
FROM some_table
GROUP BY relevant_field
HAVING COUNT(*) > 1

Bằng cách này, tôi sẽ nhận được tất cả các hàng có liên quan xảy ra nhiều lần. Truy vấn này mất một phần nghìn giây để thực thi.

Bây giờ, tôi muốn kiểm tra từng bản sao, vì vậy tôi nghĩ rằng tôi có thể CHỌN từng hàng trong some_table với có liên quan_field trong truy vấn trên, vì vậy tôi đã làm như thế này:

SELECT *
FROM some_table 
WHERE relevant_field IN
(
    SELECT relevant_field
    FROM some_table
    GROUP BY relevant_field
    HAVING COUNT(*) > 1
)

Điều này hóa ra là cực kỳ chậm vì một số lý do (phải mất vài phút). Chính xác thì chuyện gì đang xảy ra ở đây để làm cho nó chậm lại? có liên quan được lập chỉ mục.

Cuối cùng, tôi đã thử tạo chế độ xem "temp_view" từ truy vấn đầu tiên (SELECT relevant_field FROM some_table GROUP BY relevant_field HAVING COUNT(*) > 1)và sau đó thực hiện truy vấn thứ hai của mình như thế này:

SELECT *
FROM some_table
WHERE relevant_field IN
(
    SELECT relevant_field
    FROM temp_view
)

Và nó hoạt động tốt. MySQL thực hiện điều này trong một vài phần nghìn giây.

Bất kỳ chuyên gia SQL nào ở đây có thể giải thích những gì đang xảy ra?

Viết lại truy vấn vào đây

SELECT st1.*, st2.relevant_field FROM sometable st1
INNER JOIN sometable st2 ON (st1.relevant_field = st2.relevant_field)
GROUP BY st1.id  /* list a unique sometable field here*/
HAVING COUNT(*) > 1

Tôi nghĩ rằng st2.relevant_fieldphải được chọn, vì nếu không thì havingmệnh đề sẽ báo lỗi, nhưng tôi không chắc chắn 100%

Không bao giờ sử dụng IN với một truy vấn con; điều này nổi tiếng là chậm.
Chỉ bao giờ sử dụng INvới một danh sách cố định các giá trị.

Thêm lời khuyên

1. Nếu bạn muốn thực hiện truy vấn nhanh hơn, đừng làm SELECT * chỉ chọn các trường mà bạn thực sự cần.
2. Hãy chắc chắn rằng bạn có một chỉ mục trên relevant_field để tăng tốc độ tham gia.
3. Đảm bảo group by về khóa chính.
4. Nếu bạn đang ở trên InnoDB và bạn chỉ chọn các trường được lập chỉ mục (và mọi thứ không quá phức tạp) MySQL sẽ giải quyết truy vấn của bạn bằng cách chỉ sử dụng các chỉ mục, tăng tốc mọi thứ.

Giải pháp chung cho 90% của bạn IN (select truy vấn

Sử dụng mã này

SELECT * FROM sometable a WHERE EXISTS (
  SELECT 1 FROM sometable b
  WHERE a.relevant_field = b.relevant_field
  GROUP BY b.relevant_field
  HAVING count(*) > 1) 

Truy vấn con đang được chạy cho mỗi hàng vì đây là truy vấn tương quan. Người ta có thể tạo một truy vấn tương quan thành một truy vấn không tương quan bằng cách chọn mọi thứ từ truy vấn con, như vậy:

SELECT * FROM
(
    SELECT relevant_field
    FROM some_table
    GROUP BY relevant_field
    HAVING COUNT(*) > 1
) AS subquery

Truy vấn cuối cùng sẽ như thế này:

SELECT *
FROM some_table
WHERE relevant_field IN
(
    SELECT * FROM
    (
        SELECT relevant_field
        FROM some_table
        GROUP BY relevant_field
        HAVING COUNT(*) > 1
    ) AS subquery
)

Truy vấn con tham gia

http://www.scribed.com/doc/2546837/New-Subquery-Optimizes-In-MyQuery-6

SELECT st1.*
FROM some_table st1
inner join 
(
    SELECT relevant_field
    FROM some_table
    GROUP BY relevant_field
    HAVING COUNT(*) > 1
)st2 on st2.relevant_field = st1.relevant_field;

Tôi đã thử truy vấn của bạn trên một trong các cơ sở dữ liệu của mình và cũng đã thử viết lại dưới dạng tham gia vào truy vấn phụ.

Điều này làm việc nhanh hơn rất nhiều, hãy thử nó!

Thử cái này

SELECT t1.*
FROM 
 some_table t1,
  (SELECT relevant_field
  FROM some_table
  GROUP BY relevant_field
  HAVING COUNT (*) > 1) t2
WHERE
 t1.relevant_field = t2.relevant_field;

Tôi đã định dạng lại truy vấn sql chậm của bạn với www.prettysql.net

SELECT *
FROM some_table
WHERE
 relevant_field in
 (
  SELECT relevant_field
  FROM some_table
  GROUP BY relevant_field
  HAVING COUNT ( * ) > 1
 );

Khi sử dụng bảng trong cả truy vấn và truy vấn con, bạn phải luôn đặt bí danh cho cả hai, như thế này:

SELECT *
FROM some_table as t1
WHERE
 t1.relevant_field in
 (
  SELECT t2.relevant_field
  FROM some_table as t2
  GROUP BY t2.relevant_field
  HAVING COUNT ( t2.relevant_field ) > 1
 );

cái đó có giúp ích không?

Đầu tiên bạn có thể tìm các hàng trùng lặp và tìm số lượng hàng được sử dụng bao nhiêu lần và sắp xếp nó theo số như thế này;

SELECT q.id,q.name,q.password,q.NID,(select count(*) from UserInfo k where k.NID= q.NID) as Count,
(
		CASE q.NID
		WHEN @curCode THEN
			@curRow := @curRow + 1
		ELSE
			@curRow := 1
		AND @curCode := q.NID
		END
	) AS No
FROM UserInfo q,
(
		SELECT
			@curRow := 1,
			@curCode := ''
	) rt
WHERE q.NID IN
(
    SELECT NID
    FROM UserInfo
    GROUP BY NID
    HAVING COUNT(*) > 1
) 

sau đó tạo một bảng và chèn kết quả vào nó.

create table CopyTable 
SELECT q.id,q.name,q.password,q.NID,(select count(*) from UserInfo k where k.NID= q.NID) as Count,
(
		CASE q.NID
		WHEN @curCode THEN
			@curRow := @curRow + 1
		ELSE
			@curRow := 1
		AND @curCode := q.NID
		END
	) AS No
FROM UserInfo q,
(
		SELECT
			@curRow := 1,
			@curCode := ''
	) rt
WHERE q.NID IN
(
    SELECT NID
    FROM UserInfo
    GROUP BY NID
    HAVING COUNT(*) > 1
) 

Cuối cùng, xóa các hàng công khai. Không bắt đầu 0. Ngoại trừ số nắm tay của mỗi nhóm xóa tất cả các hàng công khai.

delete from  CopyTable where No!= 0;

đôi khi khi dữ liệu phát triển lớn hơn mysql WHERE IN có thể khá chậm do tối ưu hóa truy vấn. Hãy thử sử dụng STRAIGHT_JOIN để báo cho mysql thực thi truy vấn, vd

SELECT STRAIGHT_JOIN table.field FROM table WHERE table.id IN (...)

nhưng hãy cẩn thận: trong hầu hết các trường hợp, trình tối ưu hóa mysql hoạt động khá tốt, vì vậy tôi khuyên bạn chỉ nên sử dụng nó khi bạn gặp loại vấn đề này

Điều này tương tự với trường hợp của tôi, nơi tôi có một bảng được đặt tên tabel_buku_besar. Những gì tôi cần là

1. Looking for kỷ lục có account_code='101.100'trong tabel_buku_besarđó đã companyarea='20000'và cũng có IDRnhưcurrency

2. Tôi cần lấy tất cả các bản ghi tabel_buku_besarcó tài khoản_code giống như bước 1 nhưng có transaction_numberkết quả ở bước 1

trong khi sử dụng select ... from...where....transaction_number in (select transaction_number from ....), truy vấn của tôi chạy rất chậm và đôi khi khiến hết thời gian yêu cầu hoặc khiến ứng dụng của tôi không phản hồi ...

Tôi thử kết hợp này và kết quả ... không tệ ...

`select DATE_FORMAT(L.TANGGAL_INPUT,'%d-%m-%y') AS TANGGAL,
      L.TRANSACTION_NUMBER AS VOUCHER,
      L.ACCOUNT_CODE,
      C.DESCRIPTION,
      L.DEBET,
      L.KREDIT 
 from (select * from tabel_buku_besar A
                where A.COMPANYAREA='$COMPANYAREA'
                      AND A.CURRENCY='$Currency'
                      AND A.ACCOUNT_CODE!='$ACCOUNT'
                      AND (A.TANGGAL_INPUT BETWEEN STR_TO_DATE('$StartDate','%d/%m/%Y') AND STR_TO_DATE('$EndDate','%d/%m/%Y'))) L 
INNER JOIN (select * from tabel_buku_besar A
                     where A.COMPANYAREA='$COMPANYAREA'
                           AND A.CURRENCY='$Currency'
                           AND A.ACCOUNT_CODE='$ACCOUNT'
                           AND (A.TANGGAL_INPUT BETWEEN STR_TO_DATE('$StartDate','%d/%m/%Y') AND STR_TO_DATE('$EndDate','%d/%m/%Y'))) R ON R.TRANSACTION_NUMBER=L.TRANSACTION_NUMBER AND R.COMPANYAREA=L.COMPANYAREA 
LEFT OUTER JOIN master_account C ON C.ACCOUNT_CODE=L.ACCOUNT_CODE AND C.COMPANYAREA=L.COMPANYAREA 
ORDER BY L.TANGGAL_INPUT,L.TRANSACTION_NUMBER`

Tôi thấy điều này là hiệu quả nhất để tìm kiếm nếu một giá trị tồn tại, logic có thể dễ dàng được đảo ngược để tìm nếu một giá trị không tồn tại (ví dụ IS NULL);

SELECT * FROM primary_table st1
LEFT JOIN comparision_table st2 ON (st1.relevant_field = st2.relevant_field)
WHERE st2.primaryKey IS NOT NULL

* Thay thế có liên quan bằng tên của giá trị mà bạn muốn kiểm tra tồn tại trong bảng của bạn

* Thay thế khóa chính bằng tên của cột khóa chính trên bảng so sánh.