postgresql COUNT (DISTINCT) rất chậm

Tôi có một truy vấn SQL rất đơn giản:

SELECT COUNT(DISTINCT x) FROM table;

Bàn của tôi có khoảng 1,5 triệu hàng. Truy vấn này đang chạy khá chậm; phải mất khoảng 7,5 giây, so với

 SELECT COUNT(x) FROM table;

Mất khoảng 435ms. Có cách nào để thay đổi truy vấn của tôi để cải thiện hiệu suất không? Tôi đã thử nhóm và thực hiện đếm thường xuyên, cũng như đặt chỉ mục trên x; cả hai đều có thời gian thực hiện 7.5s giống nhau.

Bạn có thể sử dụng điều này:

SELECT COUNT(*) FROM (SELECT DISTINCT column_name FROM table_name) AS temp;

Điều này nhanh hơn nhiều so với:

COUNT(DISTINCT column_name)

-- My default settings (this is basically a single-session machine, so work_mem is pretty high)
SET effective_cache_size='2048MB';
SET work_mem='16MB';

\echo original
EXPLAIN ANALYZE
SELECT
        COUNT (distinct val) as aantal
FROM one
        ;

\echo group by+count(*)
EXPLAIN ANALYZE
SELECT
        distinct val
       -- , COUNT(*)
FROM one
GROUP BY val;

\echo with CTE
EXPLAIN ANALYZE
WITH agg AS (
    SELECT distinct val
    FROM one
    GROUP BY val
    )
SELECT COUNT (*) as aantal
FROM agg
        ;

Các kết quả:

original                                                      QUERY PLAN                                                      
----------------------------------------------------------------------------------------------------------------------
 Aggregate  (cost=36448.06..36448.07 rows=1 width=4) (actual time=1766.472..1766.472 rows=1 loops=1)
   ->  Seq Scan on one  (cost=0.00..32698.45 rows=1499845 width=4) (actual time=31.371..185.914 rows=1499845 loops=1)
 Total runtime: 1766.642 ms
(3 rows)

group by+count(*)
                                                         QUERY PLAN                                                         
----------------------------------------------------------------------------------------------------------------------------
 HashAggregate  (cost=36464.31..36477.31 rows=1300 width=4) (actual time=412.470..412.598 rows=1300 loops=1)
   ->  HashAggregate  (cost=36448.06..36461.06 rows=1300 width=4) (actual time=412.066..412.203 rows=1300 loops=1)
         ->  Seq Scan on one  (cost=0.00..32698.45 rows=1499845 width=4) (actual time=26.134..166.846 rows=1499845 loops=1)
 Total runtime: 412.686 ms
(4 rows)

with CTE
                                                             QUERY PLAN                                                             
------------------------------------------------------------------------------------------------------------------------------------
 Aggregate  (cost=36506.56..36506.57 rows=1 width=0) (actual time=408.239..408.239 rows=1 loops=1)
   CTE agg
     ->  HashAggregate  (cost=36464.31..36477.31 rows=1300 width=4) (actual time=407.704..407.847 rows=1300 loops=1)
           ->  HashAggregate  (cost=36448.06..36461.06 rows=1300 width=4) (actual time=407.320..407.467 rows=1300 loops=1)
                 ->  Seq Scan on one  (cost=0.00..32698.45 rows=1499845 width=4) (actual time=24.321..165.256 rows=1499845 loops=1)
       ->  CTE Scan on agg  (cost=0.00..26.00 rows=1300 width=0) (actual time=407.707..408.154 rows=1300 loops=1)
     Total runtime: 408.300 ms
    (7 rows)

Kế hoạch tương tự như đối với CTE có thể cũng có thể được tạo ra bởi các phương thức khác (chức năng cửa sổ)

Nếu bạn count(distinct(x))chậm hơn đáng kể count(x)thì bạn có thể tăng tốc truy vấn này bằng cách duy trì số lượng giá trị x trong các bảng khác nhau, ví dụ table_name_x_counts (x integer not null, x_count int not null), bằng cách sử dụng kích hoạt. Nhưng hiệu suất ghi của bạn sẽ bị ảnh hưởng và nếu bạn cập nhật nhiều xgiá trị trong một giao dịch thì bạn cần thực hiện việc này theo một số thứ tự rõ ràng để tránh bế tắc có thể xảy ra.

Tôi cũng đang tìm kiếm câu trả lời tương tự, bởi vì tại một số thời điểm tôi cần Total_count với các giá trị riêng biệt cùng với giới hạn / bù .

Bởi vì nó hơi khó để làm- Để có được tổng số với các giá trị riêng biệt cùng với giới hạn / bù. Thông thường rất khó để có được tổng số với giới hạn / bù. Cuối cùng tôi cũng có cách làm -

SELECT DISTINCT COUNT(*) OVER() as total_count, * FROM table_name limit 2 offset 0;

Hiệu năng truy vấn cũng cao.