Cách tìm bản ghi trùng lặp trong PostgreSQL

Tôi có một bảng cơ sở dữ liệu PostgreSQL có tên là "user_links" hiện đang cho phép các trường trùng lặp sau:

year, user_id, sid, cid

Các hạn chế duy nhất hiện nay là trường đầu tiên được gọi là "id", tuy nhiên bây giờ tôi đang tìm thêm một hạn chế để đảm bảo rằng year, user_id, sidvà cidtất cả đều độc đáo nhưng tôi không thể áp dụng các hạn chế vì giá trị nhân bản đã tồn tại vi phạm ràng buộc này.

Có cách nào để tìm tất cả các bản sao?

Ý tưởng cơ bản sẽ sử dụng truy vấn lồng nhau với tổng hợp đếm:

select * from yourTable ou
where (select count(*) from yourTable inr
where inr.sid = ou.sid) > 1

Bạn có thể điều chỉnh mệnh đề where trong truy vấn bên trong để thu hẹp tìm kiếm.

Có một giải pháp tốt khác cho điều đó được đề cập trong các bình luận, (nhưng không phải ai cũng đọc chúng):

select Column1, Column2, count(*)
from yourTable
group by Column1, Column2
HAVING count(*) > 1

Hoặc ngắn hơn:

SELECT (yourTable.*)::text, count(*)
FROM yourTable
GROUP BY yourTable.*
HAVING count(*) > 1

Từ " Tìm hàng trùng lặp với PostgreSQL " đây là giải pháp thông minh:

select * from (
  SELECT id,
  ROW_NUMBER() OVER(PARTITION BY column1, column2 ORDER BY id asc) AS Row
  FROM tbl
) dups
where 
dups.Row > 1

Bạn có thể tham gia vào cùng một bảng trên các trường sẽ được sao chép và sau đó chống tham gia trên trường id. Chọn trường id từ bí danh bảng đầu tiên (tn1) và sau đó sử dụng hàm Array_agg trên trường id của bí danh bảng thứ hai. Cuối cùng, để hàm Array_agg hoạt động chính xác, bạn sẽ nhóm các kết quả theo trường tn1.id. Điều này sẽ tạo ra một tập kết quả chứa id của bản ghi và một mảng của tất cả các id phù hợp với điều kiện nối.

select tn1.id,
       array_agg(tn2.id) as duplicate_entries, 
from table_name tn1 join table_name tn2 on 
    tn1.year = tn2.year 
    and tn1.sid = tn2.sid 
    and tn1.user_id = tn2.user_id 
    and tn1.cid = tn2.cid
    and tn1.id <> tn2.id
group by tn1.id;

Rõ ràng, các id sẽ nằm trong mảng trùng lặp cho một id, cũng sẽ có các mục riêng trong tập kết quả. Bạn sẽ phải sử dụng tập kết quả này để quyết định id nào bạn muốn trở thành nguồn gốc của 'sự thật'. Một bản ghi không nên bị xóa. Có lẽ bạn có thể làm một cái gì đó như thế này:

with dupe_set as (
select tn1.id,
       array_agg(tn2.id) as duplicate_entries, 
from table_name tn1 join table_name tn2 on 
    tn1.year = tn2.year 
    and tn1.sid = tn2.sid 
    and tn1.user_id = tn2.user_id 
    and tn1.cid = tn2.cid
    and tn1.id <> tn2.id
group by tn1.id
order by tn1.id asc)
select ds.id from dupe_set ds where not exists 
 (select de from unnest(ds.duplicate_entries) as de where de < ds.id)

Chọn số ID thấp nhất có trùng lặp (giả sử ID đang tăng int PK). Đây sẽ là những ID mà bạn sẽ giữ xung quanh.

Để dễ dàng hơn, tôi giả sử rằng bạn muốn áp dụng một ràng buộc duy nhất chỉ cho năm cột và khóa chính là một cột có tên id.

Để tìm các giá trị trùng lặp bạn nên chạy,

SELECT year, COUNT(id)
FROM YOUR_TABLE
GROUP BY year
HAVING COUNT(id) > 1
ORDER BY COUNT(id);

Sử dụng câu lệnh sql ở trên, bạn nhận được một bảng chứa tất cả các năm trùng lặp trong bảng của bạn. Để xóa tất cả các mục trùng lặp ngoại trừ mục trùng lặp mới nhất, bạn nên sử dụng câu lệnh sql ở trên.

DELETE
FROM YOUR_TABLE A USING YOUR_TABLE_AGAIN B
WHERE A.year=B.year AND A.id<B.id;