Xóa các bản ghi trùng lặp trong PostgreSQL

Tôi có một bảng trong cơ sở dữ liệu PostgreSQL 8.3.8, không có khóa / ràng buộc trên đó và có nhiều hàng với các giá trị giống hệt nhau.

Tôi muốn xóa tất cả các bản sao và chỉ giữ lại 1 bản sao của mỗi hàng.

Có một cột cụ thể (được đặt tên là "khóa") có thể được sử dụng để xác định các bản sao (tức là chỉ nên tồn tại một mục nhập cho mỗi "khóa" riêng biệt).

Tôi có thể làm cái này như thế nào? (lý tưởng nhất là với một lệnh SQL duy nhất) Tốc độ không phải là vấn đề trong trường hợp này (chỉ có một vài hàng).

DELETE FROM dupes a
WHERE a.ctid <> (SELECT min(b.ctid)
                 FROM   dupes b
                 WHERE  a.key = b.key);

Một giải pháp nhanh hơn là

DELETE FROM dups a USING (
      SELECT MIN(ctid) as ctid, key
        FROM dups 
        GROUP BY key HAVING COUNT(*) > 1
      ) b
      WHERE a.key = b.key 
      AND a.ctid <> b.ctid

Điều này nhanh chóng và ngắn gọn:

DELETE FROM dupes T1
    USING   dupes T2
WHERE   T1.ctid < T2.ctid  -- delete the older versions
    AND T1.key  = T2.key;  -- add more columns if needed

Xem thêm câu trả lời của tôi tại Cách xóa các hàng trùng lặp không có số nhận dạng duy nhất bao gồm nhiều thông tin hơn.

Tôi đã thử điều này:

DELETE FROM tablename
WHERE id IN (SELECT id
              FROM (SELECT id,
                             ROW_NUMBER() OVER (partition BY column1, column2, column3 ORDER BY id) AS rnum
                     FROM tablename) t
              WHERE t.rnum > 1);

được cung cấp bởi Postgres wiki:

https://wiki.postgresql.org/wiki/Deleting_duplicates

Tôi đã phải tạo ra phiên bản của riêng mình. Phiên bản do @a_horse_with_no_name viết trên bảng của tôi quá chậm (21 triệu hàng). Và @rapimo chỉ đơn giản là không xóa dups.

Đây là những gì tôi sử dụng trên PostgreSQL 9.5

DELETE FROM your_table
WHERE ctid IN (
  SELECT unnest(array_remove(all_ctids, actid))
  FROM (
         SELECT
           min(b.ctid)     AS actid,
           array_agg(ctid) AS all_ctids
         FROM your_table b
         GROUP BY key1, key2, key3, key4
         HAVING count(*) > 1) c);

Tôi sẽ sử dụng một bảng tạm thời:

create table tab_temp as
select distinct f1, f2, f3, fn
  from tab;

Sau đó, xóa tabvà đổi tên tab_tempthành tab.

Một cách tiếp cận khác (chỉ hoạt động nếu bạn có bất kỳ trường duy nhất nào giống như idtrong bảng của mình) để tìm tất cả các id duy nhất theo cột và xóa các id khác không có trong danh sách duy nhất

DELETE
FROM users
WHERE users.id NOT IN (SELECT DISTINCT ON (username, email) id FROM users);

Làm thế nào về:

VỚI
  u AS (CHỌN DISTINCT * FROM your_table),
  x AS (XÓA khỏi bảng_bạn)
CHÈN VÀO your_table SELECT * FROM u;

Tôi đã lo lắng về thứ tự thực hiện, liệu DELETE có xảy ra trước CHỌN DISTINCT không, nhưng nó hoạt động tốt đối với tôi. Và có thêm phần thưởng là không cần bất kỳ kiến ​​thức nào về cấu trúc bảng.

Điều này làm việc tốt cho tôi. Tôi có một bảng, các điều khoản, chứa các giá trị trùng lặp. Chạy một truy vấn để điền vào bảng tạm thời với tất cả các hàng trùng lặp. Sau đó, tôi chạy câu lệnh xóa với các id đó trong bảng tạm thời. giá trị là cột chứa các bản sao.

        CREATE TEMP TABLE dupids AS
        select id from (
                    select value, id, row_number() 
over (partition by value order by value) 
    as rownum from terms
                  ) tmp
                  where rownum >= 2;

delete from [table] where id in (select id from dupids)

Đây là một giải pháp sử dụng PARTITION BY:

DELETE FROM dups
USING (
  SELECT
    ctid,
    (ctid != min(ctid) OVER (PARTITION BY key_column1, key_column2 [...])) AS is_duplicate
  FROM dups 
) dups_find_duplicates
WHERE dups.ctid == dups_find_duplicates.ctid
AND dups_find_duplicates.is_duplicate