Làm thế nào để xóa các mục trùng lặp?

Tôi phải thêm một ràng buộc duy nhất vào một bảng hiện có. Điều này là tốt, ngoại trừ việc bảng đã có hàng triệu hàng và nhiều hàng vi phạm giới hạn duy nhất mà tôi cần thêm.

Cách tiếp cận nhanh nhất để loại bỏ các hàng vi phạm là gì? Tôi có một câu lệnh SQL tìm các bản sao và xóa chúng, nhưng mất mãi mãi để chạy. Có cách nào khác để giải quyết vấn đề này không? Có thể sao lưu bảng, sau đó khôi phục sau khi ràng buộc được thêm vào?

Ví dụ, bạn có thể:

CREATE TABLE tmp ...
INSERT INTO tmp SELECT DISTINCT * FROM t;
DROP TABLE t;
ALTER TABLE tmp RENAME TO t;

Một số cách tiếp cận này có vẻ hơi phức tạp và tôi thường làm như sau:

Bảng đã cho table, muốn duy nhất nó trên (field1, field2) giữ hàng có trường max3:

DELETE FROM table USING table alias 
  WHERE table.field1 = alias.field1 AND table.field2 = alias.field2 AND
    table.max_field < alias.max_field

Ví dụ: tôi có một bảng user_accountsvà tôi muốn thêm một ràng buộc duy nhất vào email, nhưng tôi có một số bản sao. Cũng nói rằng tôi muốn giữ một cái được tạo gần đây nhất (id tối đa trong số các bản sao).

DELETE FROM user_accounts USING user_accounts ua2
  WHERE user_accounts.email = ua2.email AND user_account.id < ua2.id;

• Lưu ý - USINGkhông phải là SQL tiêu chuẩn, nó là một phần mở rộng PostgreSQL (nhưng rất hữu ích), nhưng câu hỏi ban đầu đề cập cụ thể đến PostgreSQL.

Thay vì tạo một bảng mới, bạn cũng có thể chèn lại các hàng duy nhất vào cùng một bảng sau khi cắt bớt nó. Làm tất cả trong một lần giao dịch . Theo tùy chọn, bạn có thể tự động bỏ bảng tạm thời vào cuối giao dịch vớiON COMMIT DROP . Xem bên dưới.

Cách tiếp cận này chỉ hữu ích khi có nhiều hàng cần xóa trên toàn bộ bảng. Đối với một vài bản sao, hãy sử dụngDELETE .

Bạn đã đề cập đến hàng triệu hàng. Để làm cho hoạt động nhanh chóng, bạn muốn phân bổ đủ bộ đệm tạm thời cho phiên. Cài đặt phải được điều chỉnh trước khi bất kỳ bộ đệm tạm thời nào được sử dụng trong phiên hiện tại của bạn. Tìm hiểu kích thước bàn của bạn:

SELECT pg_size_pretty(pg_relation_size('tbl'));

Đặt cho temp_buffersphù hợp. Làm tròn một cách hào phóng vì biểu diễn trong bộ nhớ cần nhiều RAM hơn một chút.

SET temp_buffers = 200MB;    -- example value

BEGIN;

-- CREATE TEMPORARY TABLE t_tmp ON COMMIT DROP AS -- drop temp table at commit
CREATE TEMPORARY TABLE t_tmp AS  -- retain temp table after commit
SELECT DISTINCT * FROM tbl;  -- DISTINCT folds duplicates

TRUNCATE tbl;

INSERT INTO tbl
SELECT * FROM t_tmp;
-- ORDER BY id; -- optionally "cluster" data while being at it.

COMMIT;

Phương pháp này có thể vượt trội hơn so với việc tạo một bảng mới nếu tồn tại các đối tượng phụ thuộc. Chế độ xem, chỉ mục, khóa ngoại hoặc các đối tượng khác tham chiếu đến bảng. TRUNCATElàm cho bạn bắt đầu với một slate sạch anyway (file mới trong nền) và nhiều nhanh hơn DELETE FROM tblvới các bảng lớn (DELETE trên thực tế có thể nhanh hơn với những chiếc bàn nhỏ).

Đối với các bảng lớn, nó thường nhanh hơn việc giảm chỉ mục và khóa ngoại, điền vào bảng và tạo lại các đối tượng . Liên quan đến các ràng buộc fk, bạn phải chắc chắn rằng dữ liệu mới là hợp lệ, nếu không bạn sẽ gặp phải trường hợp ngoại lệ khi cố gắng tạo fk.

Lưu ý rằng TRUNCATEyêu cầu khóa tích cực hơnDELETE . Đây có thể là vấn đề đối với các bảng có tải nặng, đồng thời.

Nếu TRUNCATEkhông phải là một tùy chọn hoặc nói chung đối với các bảng vừa và nhỏ thì có một kỹ thuật tương tự với CTE sửa đổi dữ liệu (Postgres 9.1 +):

WITH del AS (DELETE FROM tbl RETURNING *)
INSERT INTO tbl
SELECT DISTINCT * FROM del;
-- ORDER BY id; -- optionally "cluster" data while being at it.

Chậm hơn đối với các bảng lớn, vì TRUNCATEở đó nhanh hơn. Nhưng có thể nhanh hơn (và đơn giản hơn!) Cho các bảng nhỏ.

Nếu bạn không có đối tượng phụ thuộc nào cả, bạn có thể tạo một bảng mới và xóa bảng cũ, nhưng bạn hầu như không thu được gì qua cách tiếp cận phổ quát này.

Đối với các bảng rất lớn không vừa với RAM khả dụng , việc tạo một bảng mới sẽ nhanh hơn đáng kể. Bạn sẽ phải cân nhắc điều này trước những rắc rối / chi phí có thể xảy ra với các đối tượng tùy thuộc.

Bạn có thể sử dụng oid hoặc ctid, thường là các cột "không hiển thị" trong bảng:

DELETE FROM table
 WHERE ctid NOT IN
  (SELECT MAX(s.ctid)
    FROM table s
    GROUP BY s.column_has_be_distinct);

Chức năng cửa sổ PostgreSQL rất hữu ích cho vấn đề này.

DELETE FROM tablename
WHERE id IN (SELECT id
              FROM (SELECT id,
                             row_number() over (partition BY column1, column2, column3 ORDER BY id) AS rnum
                     FROM tablename) t
              WHERE t.rnum > 1);

Xem Xóa bản sao .

Từ danh sách gửi thư cũ của postgresql.org :

create table test ( a text, b text );

Giá trị duy nhất

insert into test values ( 'x', 'y');
insert into test values ( 'x', 'x');
insert into test values ( 'y', 'y' );
insert into test values ( 'y', 'x' );

Giá trị trùng lặp

insert into test values ( 'x', 'y');
insert into test values ( 'x', 'x');
insert into test values ( 'y', 'y' );
insert into test values ( 'y', 'x' );

Thêm một bản sao kép nữa

insert into test values ( 'x', 'y');

select oid, a, b from test;

Chọn các hàng trùng lặp

select o.oid, o.a, o.b from test o
    where exists ( select 'x'
                   from test i
                   where     i.a = o.a
                         and i.b = o.b
                         and i.oid < o.oid
                 );

Xóa các hàng trùng lặp

Lưu ý: Các dos PostgreSQL không hỗ trợ các bí danh trên bảng được đề cập trong fromđiều khoản xóa.

delete from test
    where exists ( select 'x'
                   from test i
                   where     i.a = test.a
                         and i.b = test.b
                         and i.oid < test.oid
             );

Truy vấn tổng quát để xóa các bản sao:

DELETE FROM table_name
WHERE ctid NOT IN (
  SELECT max(ctid) FROM table_name
  GROUP BY column1, [column 2, ...]
);

Cột ctidnày là một cột đặc biệt có sẵn cho mọi bảng nhưng không hiển thị trừ khi được đề cập cụ thể. Các ctidgiá trị cột được coi là duy nhất cho mỗi hàng trong một bảng.

Tôi vừa sử dụng thành công câu trả lời của Erwin Brandstetter để xóa các bản sao trong một bảng tham gia (một bảng thiếu ID chính của riêng nó), nhưng nhận thấy rằng có một điều quan trọng cần lưu ý.

Bao gồm ON COMMIT DROPcó nghĩa là bảng tạm thời sẽ bị xóa khi kết thúc giao dịch. Đối với tôi, điều đó có nghĩa là bảng tạm thời không còn nữa vào thời điểm tôi chèn nó vào!

Tôi chỉ làm CREATE TEMPORARY TABLE t_tmp AS SELECT DISTINCT * FROM tbl;và mọi thứ hoạt động tốt.

Bảng tạm thời không bị xóa vào cuối phiên.

Hàm này loại bỏ các bản sao mà không xóa chỉ mục và thực hiện nó với bất kỳ bảng nào.

Sử dụng: select remove_duplicates('mytable');

---
--- remove_duplicates (tên bảng) xóa các bản ghi trùng lặp khỏi bảng (chuyển đổi từ tập hợp thành tập hợp duy nhất)
---
TẠO HOẶC THAY THẾ CHỨC NĂNG remove_duplicates (text) RETURNS void AS $$
KHAI BÁO
  tên bảng ALIAS FOR $ 1;
BẮT ĐẦU
  THỰC HIỆN 'TẠO BẢNG TẠM THỜI _DISTINCT_' || tên bảng || 'AS (CHỌN DISTINCT * TỪ' || tên bảng || ');';
  THỰC HIỆN 'XÓA TỪ' || tên bảng || ';';
  THỰC HIỆN 'CHÈN VÀO' || tên bảng || '(CHỌN * TỪ _DISTINCT_' || tên bảng || ');';
  THỰC HIỆN 'DROP TABLE _DISTINCT_' || tên bảng || ';';
  TRỞ VỀ;
KẾT THÚC;
$$ LANGUAGE plpgsql;

DELETE FROM table
  WHERE something NOT IN
    (SELECT     MAX(s.something)
      FROM      table As s
      GROUP BY  s.this_thing, s.that_thing);

Nếu bạn chỉ có một hoặc một vài mục nhập trùng lặp và chúng thực sự bị trùng lặp (nghĩa là chúng xuất hiện hai lần), bạn có thể sử dụng cột "ẩn" ctid, như được đề xuất ở trên, cùng với LIMIT:

DELETE FROM mytable WHERE ctid=(SELECT ctid FROM mytable WHERE […] LIMIT 1);

Thao tác này sẽ chỉ xóa hàng đầu tiên trong số các hàng đã chọn.

Trước tiên, bạn cần phải quyết định xem bạn sẽ giữ "bản sao" nào. Nếu tất cả các cột đều bằng nhau, OK, bạn có thể xóa bất kỳ cột nào trong số chúng ... Nhưng có lẽ bạn chỉ muốn giữ lại tiêu chí gần đây nhất hoặc một số tiêu chí khác?

Cách nhanh nhất phụ thuộc vào câu trả lời của bạn cho câu hỏi ở trên, và cũng dựa trên% số trùng lặp trên bảng. Nếu bạn loại bỏ 50% số hàng của mình, thì tốt hơn là bạn đang làm CREATE TABLE ... AS SELECT DISTINCT ... FROM ... ;và nếu bạn xóa 1% số hàng, sử dụng DELETE sẽ tốt hơn.

Ngoài ra đối với các hoạt động bảo trì như thế này, nói chung bạn nên đặt work_memthành một phần RAM tốt: chạy EXPLAIN, kiểm tra số N sắp xếp / băm và đặt work_mem thành RAM / 2 / N. Sử dụng nhiều RAM; nó tốt cho tốc độ. Miễn là bạn chỉ có một kết nối đồng thời ...

Tôi đang làm việc với PostgreSQL 8.4. Khi tôi chạy mã được đề xuất, tôi thấy rằng nó không thực sự xóa các bản sao. Trong khi chạy một số thử nghiệm, tôi nhận thấy rằng việc thêm "DISTINCT ON (tên_mã_bản_bản)" và "ĐẶT HÀNG THEO tên_mục_sản_phẩm" đã thực hiện thủ thuật. Tôi không phải là chuyên gia SQL, tôi đã tìm thấy điều này trong tài liệu PostgreSQL 8.4 SELECT ... DISTINCT.

CREATE OR REPLACE FUNCTION remove_duplicates(text, text) RETURNS void AS $$
DECLARE
  tablename ALIAS FOR $1;
  duplicate_column ALIAS FOR $2;
BEGIN
  EXECUTE 'CREATE TEMPORARY TABLE _DISTINCT_' || tablename || ' AS (SELECT DISTINCT ON (' || duplicate_column || ') * FROM ' || tablename || ' ORDER BY ' || duplicate_column || ' ASC);';
  EXECUTE 'DELETE FROM ' || tablename || ';';
  EXECUTE 'INSERT INTO ' || tablename || ' (SELECT * FROM _DISTINCT_' || tablename || ');';
  EXECUTE 'DROP TABLE _DISTINCT_' || tablename || ';';
  RETURN;
END;
$$ LANGUAGE plpgsql;

Điều này hoạt động rất độc đáo và rất nhanh chóng:

CREATE INDEX otherTable_idx ON otherTable( colName );
CREATE TABLE newTable AS select DISTINCT ON (colName) col1,colName,col2 FROM otherTable;

DELETE FROM tablename
WHERE id IN (SELECT id
    FROM (SELECT id,ROW_NUMBER() OVER (partition BY column1, column2, column3 ORDER BY id) AS rnum
                 FROM tablename) t
          WHERE t.rnum > 1);

Xóa các bản sao theo (các) cột và giữ hàng có id thấp nhất. Mẫu được lấy từ wiki postgres

Sử dụng CTE, bạn có thể đạt được phiên bản dễ đọc hơn của phần trên thông qua việc này

WITH duplicate_ids as (
    SELECT id, rnum 
    FROM num_of_rows
    WHERE rnum > 1
),
num_of_rows as (
    SELECT id, 
        ROW_NUMBER() over (partition BY column1, 
                                        column2, 
                                        column3 ORDER BY id) AS rnum
        FROM tablename
)
DELETE FROM tablename 
WHERE id IN (SELECT id from duplicate_ids)

CREATE TABLE test (col text);
INSERT INTO test VALUES
 ('1'),
 ('2'), ('2'),
 ('3'),
 ('4'), ('4'),
 ('5'),
 ('6'), ('6');
DELETE FROM test
 WHERE ctid in (
   SELECT t.ctid FROM (
     SELECT row_number() over (
               partition BY col
               ORDER BY col
               ) AS rnum,
            ctid FROM test
       ORDER BY col
     ) t
    WHERE t.rnum >1);