Tìm bản ghi trùng lặp trong MySQL

Tôi muốn lấy ra các bản ghi trùng lặp trong Cơ sở dữ liệu MySQL. Điều này có thể được thực hiện với:

SELECT address, count(id) as cnt FROM list
GROUP BY address HAVING cnt > 1

Kết quả nào trong:

100 MAIN ST    2

Tôi muốn kéo nó để nó hiển thị mỗi hàng là một bản sao. Cái gì đó như:

JIM    JONES    100 MAIN ST
JOHN   SMITH    100 MAIN ST

Bất kỳ suy nghĩ về làm thế nào điều này có thể được thực hiện? Tôi đang cố gắng tránh thực hiện cái đầu tiên sau đó tìm kiếm các bản sao với truy vấn thứ hai trong mã.

Điều quan trọng là viết lại truy vấn này để nó có thể được sử dụng như một truy vấn con.

SELECT firstname, 
   lastname, 
   list.address 
FROM list
   INNER JOIN (SELECT address
               FROM   list
               GROUP  BY address
               HAVING COUNT(id) > 1) dup
           ON list.address = dup.address;

SELECT date FROM logs group by date having count(*) >= 2

Tại sao không chỉ tham gia vào bảng với chính nó?

SELECT a.firstname, a.lastname, a.address
FROM list a
INNER JOIN list b ON a.address = b.address
WHERE a.id <> b.id

Một DISTINCT là cần thiết nếu địa chỉ có thể tồn tại hơn hai lần.

Tôi đã thử câu trả lời tốt nhất được chọn cho câu hỏi này, nhưng nó làm tôi bối rối phần nào. Tôi thực sự cần điều đó chỉ trên một lĩnh vực duy nhất từ ​​bảng của tôi. Ví dụ sau từ liên kết này hoạt động rất tốt đối với tôi:

SELECT COUNT(*) c,title FROM `data` GROUP BY title HAVING c > 1;

select `cityname` from `codcities` group by `cityname` having count(*)>=2

Đây là truy vấn tương tự mà bạn đã yêu cầu và 200% hoạt động cũng dễ dàng. Thưởng thức!!!

Điều này có dễ hơn không:

SELECT *
FROM tc_tariff_groups
GROUP BY group_id
HAVING COUNT(group_id) >1

?

Tìm người dùng trùng lặp theo địa chỉ email với truy vấn này ...

SELECT users.name, users.uid, users.mail, from_unixtime(created)
FROM users
INNER JOIN (
  SELECT mail
  FROM users
  GROUP BY mail
  HAVING count(mail) > 1
) dupes ON users.mail = dupes.mail
ORDER BY users.mail;

chúng ta có thể tìm thấy các bản sao phụ thuộc vào nhiều hơn một trường. Đối với những trường hợp bạn có thể sử dụng định dạng bên dưới.

SELECT COUNT(*), column1, column2 
FROM tablename
GROUP BY column1, column2
HAVING COUNT(*)>1;

Tìm địa chỉ trùng lặp phức tạp hơn nhiều so với vẻ ngoài của nó, đặc biệt nếu bạn yêu cầu độ chính xác. Một truy vấn MySQL là không đủ trong trường hợp này ...

Tôi làm việc tại SmartyStreets , nơi chúng tôi giải quyết việc xác thực và sao chép và các nội dung khác, và tôi đã thấy rất nhiều thách thức khác nhau với các vấn đề tương tự.

Có một số dịch vụ của bên thứ ba sẽ gắn cờ các bản sao trong danh sách cho bạn. Làm điều này chỉ với truy vấn con của MySQL sẽ không tính đến sự khác biệt về định dạng và tiêu chuẩn địa chỉ. USPS (đối với địa chỉ Hoa Kỳ) có một số hướng dẫn nhất định để thực hiện các tiêu chuẩn này, nhưng chỉ một số ít các nhà cung cấp được chứng nhận để thực hiện các hoạt động đó.

Vì vậy, tôi muốn giới thiệu câu trả lời tốt nhất cho bạn là xuất bảng thành tệp CSV và gửi nó đến bộ xử lý danh sách có khả năng. Một trong số đó là Công cụ xác thực địa chỉ hàng loạt SmartyStreets sẽ tự động hoàn thành cho bạn sau vài giây đến vài phút. Nó sẽ gắn cờ các hàng trùng lặp với một trường mới gọi là "Sao y" và giá trị của Ynó.

Một giải pháp khác là sử dụng các bí danh bảng, như vậy:

SELECT p1.id, p2.id, p1.address
FROM list AS p1, list AS p2
WHERE p1.address = p2.address
AND p1.id != p2.id

Tất cả những gì bạn thực sự làm trong trường hợp này là lấy bảng danh sách ban đầu , tạo hai bảng p retend - p 1 và p 2 - từ đó, sau đó thực hiện nối trên cột địa chỉ (dòng 3). Dòng thứ 4 đảm bảo rằng cùng một bản ghi sẽ không hiển thị nhiều lần trong tập kết quả của bạn ("trùng lặp trùng lặp").

Sẽ không hiệu quả lắm, nhưng nó sẽ hoạt động:

SELECT *
FROM list AS outer
WHERE (SELECT COUNT(*)
        FROM list AS inner
        WHERE inner.address = outer.address) > 1;

Điều này sẽ chọn trùng lặp trong một bảng, không có truy vấn con.

SELECT  *
FROM    (
        SELECT  ao.*, (@r := @r + 1) AS rn
        FROM    (
                SELECT  @_address := 'N'
                ) vars,
                (
                SELECT  *
                FROM
                        list a
                ORDER BY
                        address, id
                ) ao
        WHERE   CASE WHEN @_address <> address THEN @r := 0 ELSE 0 END IS NOT NULL
                AND (@_address := address ) IS NOT NULL
        ) aoo
WHERE   rn > 1

Truy vấn này thực sự mô phỏng ROW_NUMBER()hiện tại trong OraclevàSQL Server

Xem bài viết trong blog của tôi để biết chi tiết:

• Các hàm phân tích: SUM, AVG, ROW_NUMBER - mô phỏng trongMySQL.

Điều này cũng sẽ cho bạn thấy có bao nhiêu trùng lặp đã và sẽ sắp xếp kết quả mà không cần tham gia

SELECT  `Language` , id, COUNT( id ) AS how_many
FROM  `languages` 
GROUP BY  `Language` 
HAVING how_many >=2
ORDER BY how_many DESC

 SELECT firstname, lastname, address FROM list
 WHERE 
 Address in 
 (SELECT address FROM list
 GROUP BY address
 HAVING count(*) > 1)

select * from table_name t1 inner join (select distinct <attribute list> from table_name as temp)t2 where t1.attribute_name = t2.attribute_name

Đối với bảng của bạn, nó sẽ là một cái gì đó như

select * from list l1 inner join (select distinct address from list as list2)l2 where l1.address=l2.address

Truy vấn này sẽ cung cấp cho bạn tất cả các mục nhập địa chỉ riêng biệt trong bảng danh sách của bạn ... Tôi không chắc cách này sẽ hoạt động như thế nào nếu bạn có bất kỳ giá trị khóa chính nào cho tên, v.v.

Thủ tục truy vấn loại bỏ trùng lặp nhanh nhất:

/* create temp table with one primary column id */
INSERT INTO temp(id) SELECT MIN(id) FROM list GROUP BY (isbn) HAVING COUNT(*)>1;
DELETE FROM list WHERE id IN (SELECT id FROM temp);
DELETE FROM temp;

Cá nhân truy vấn này đã giải quyết vấn đề của tôi:

SELECT `SUB_ID`, COUNT(SRV_KW_ID) as subscriptions FROM `SUB_SUBSCR` group by SUB_ID, SRV_KW_ID HAVING subscriptions > 1;

Những gì tập lệnh này thực hiện là hiển thị tất cả các ID thuê bao tồn tại nhiều lần trong bảng và số lượng trùng lặp được tìm thấy.

Đây là các cột của bảng:

| SUB_SUBSCR_ID | int(11)     | NO   | PRI | NULL    | auto_increment |
| MSI_ALIAS     | varchar(64) | YES  | UNI | NULL    |                |
| SUB_ID        | int(11)     | NO   | MUL | NULL    |                |    
| SRV_KW_ID     | int(11)     | NO   | MUL | NULL    |                |

Hy vọng nó sẽ hữu ích cho bạn!

SELECT t.*,(select count(*) from city as tt where tt.name=t.name) as count FROM `city` as t where (select count(*) from city as tt where tt.name=t.name) > 1 order by count desc

Thay thế thành phố bằng Bảng của bạn. Thay thế tên bằng tên trường của bạn

    SELECT *
    FROM (SELECT  address, COUNT(id) AS cnt
    FROM list
    GROUP BY address
    HAVING ( COUNT(id) > 1 ))

    Find duplicate Records:

    Suppose we have table : Student 
    student_id int
    student_name varchar
    Records:
    +------------+---------------------+
    | student_id | student_name        |
    +------------+---------------------+
    |        101 | usman               |
    |        101 | usman               |
    |        101 | usman               |
    |        102 | usmanyaqoob         |
    |        103 | muhammadusmanyaqoob |
    |        103 | muhammadusmanyaqoob |
    +------------+---------------------+

    Now we want to see duplicate records
    Use this query:


   select student_name,student_id ,count(*) c from student group by student_id,student_name having c>1;

+--------------------+------------+---+
| student_name        | student_id | c |
+---------------------+------------+---+
| usman               |        101 | 3 |
| muhammadusmanyaqoob |        103 | 2 |
+---------------------+------------+---+

Để nhanh chóng xem các hàng trùng lặp, bạn có thể chạy một truy vấn đơn giản

Ở đây tôi đang truy vấn bảng và liệt kê tất cả các hàng trùng lặp với cùng user_id, market_place và sku:

select user_id, market_place,sku, count(id)as totals from sku_analytics group by user_id, market_place,sku having count(id)>1;

Để xóa hàng trùng lặp, bạn phải quyết định hàng nào bạn muốn xóa. Ví dụ: người có id thấp hơn (thường là cũ hơn) hoặc có thể một số thông tin ngày khác. Trong trường hợp của tôi, tôi chỉ muốn xóa id thấp hơn vì id mới hơn là thông tin mới nhất.

Đầu tiên kiểm tra nếu các hồ sơ đúng sẽ bị xóa. Ở đây tôi đang chọn bản ghi trong số các bản sao sẽ bị xóa (theo id duy nhất).

select a.user_id, a.market_place,a.sku from sku_analytics a inner join sku_analytics b where a.id< b.id and a.user_id= b.user_id and a.market_place= b.market_place and a.sku = b.sku;

Sau đó, tôi chạy truy vấn xóa để xóa các bản sao:

delete a from sku_analytics a inner join sku_analytics b where a.id< b.id and a.user_id= b.user_id and a.market_place= b.market_place and a.sku = b.sku;

Sao lưu, kiểm tra hai lần, xác minh, xác minh sao lưu sau đó thực hiện.

select address from list where address = any (select address from (select address, count(id) cnt from list group by address having cnt > 1 ) as t1) order by address

truy vấn phụ bên trong trả về các hàng có địa chỉ trùng lặp sau đó truy vấn phụ bên ngoài trả về cột địa chỉ cho địa chỉ có trùng lặp. truy vấn phụ bên ngoài chỉ phải trả về một cột vì nó được sử dụng làm toán hạng cho toán tử '= any'

Chủ câu trả lời thực sự là tốt nhất và tôi muốn đề xuất thêm một thay đổi: sử dụng LIMIT để đảm bảo db sẽ không bị quá tải:

SELECT firstname, lastname, list.address FROM list
INNER JOIN (SELECT address FROM list
GROUP BY address HAVING count(id) > 1) dup ON list.address = dup.address
LIMIT 10

Đó là một thói quen tốt để sử dụng GIỚI HẠN nếu không có WHERE và khi thực hiện tham gia. Bắt đầu với giá trị nhỏ, kiểm tra mức độ nặng của truy vấn và sau đó tăng giới hạn.