lựa chọn hàng ngẫu nhiên nhanh chóng trong Postgres

Tôi có một bảng trong postgres chứa vài triệu hàng. Tôi đã kiểm tra trên internet và tôi thấy những điều sau

SELECT myid FROM mytable ORDER BY RANDOM() LIMIT 1;

Nó hoạt động, nhưng nó thực sự chậm ... có cách nào khác để thực hiện truy vấn đó hay cách trực tiếp để chọn một hàng ngẫu nhiên mà không cần đọc tất cả bảng không? Nhân tiện, 'myid' là một số nguyên nhưng nó có thể là một trường trống.

Bạn có thể muốn thử nghiệm OFFSET, như trong

SELECT myid FROM mytable OFFSET floor(random()*N) LIMIT 1;

Là Nsố hàng trong mytable. Trước tiên, bạn có thể cần phải làm một SELECT COUNT(*)để tìm ra giá trị của N.

Cập nhật (bởi Antony Hatchkins)

Bạn phải sử dụng floorở đây:

SELECT myid FROM mytable OFFSET floor(random()*N) LIMIT 1;

Hãy xem xét một bảng gồm 2 hàng; random()*Ntạo 0 <= x < 2và ví dụ SELECT myid FROM mytable OFFSET 1.7 LIMIT 1;trả về 0 hàng vì làm tròn ẩn đến số nguyên gần nhất.

PostgreSQL 9.5 đã giới thiệu một cách tiếp cận mới để chọn mẫu nhanh hơn nhiều: TABLESAMPLE

Cú pháp là

SELECT * FROM my_table TABLESAMPLE BERNOULLI(percentage);
SELECT * FROM my_table TABLESAMPLE SYSTEM(percentage);

Đây không phải là giải pháp tối ưu nếu bạn chỉ muốn chọn một hàng, vì bạn cần biết ĐẾM của bảng để tính toán tỷ lệ phần trăm chính xác.

Để tránh COUNT chậm và sử dụng TABLESAMPLE nhanh cho các bảng từ 1 hàng đến hàng tỷ hàng, bạn có thể làm:

 SELECT * FROM my_table TABLESAMPLE SYSTEM(0.000001) LIMIT 1;
 -- if you got no result:
 SELECT * FROM my_table TABLESAMPLE SYSTEM(0.00001) LIMIT 1;
 -- if you got no result:
 SELECT * FROM my_table TABLESAMPLE SYSTEM(0.0001) LIMIT 1;
 -- if you got no result:
 SELECT * FROM my_table TABLESAMPLE SYSTEM(0.001) LIMIT 1;
 ...

Câu trả lời này có vẻ không quá thanh lịch, nhưng có lẽ nhanh hơn bất kỳ câu trả lời nào khác.

Để quyết định xem bạn có muốn sử dụng BERNULLI oder SYSTEM hay không, hãy đọc về sự khác biệt tại http://blog.2ndquadrant.com/tablesample-in-postgresql-9-5-2/

Tôi đã thử điều này với một truy vấn con và nó hoạt động tốt. Bù lại, ít nhất trong Postgresql v8.4.4 hoạt động tốt.

select * from mytable offset random() * (select count(*) from mytable) limit 1 ;

Bạn cần sử dụng floor:

SELECT myid FROM mytable OFFSET floor(random()*N) LIMIT 1;

Kiểm tra liên kết này để biết một số tùy chọn khác nhau. http://www.depesz.com/index.php/2007/09/16/my-thoughts-on-getting-random-row/

Cập nhật: (A.Hatchkins)

Tóm tắt (rất) dài của bài báo như sau.

Tác giả liệt kê bốn cách tiếp cận:

1) ORDER BY random() LIMIT 1; - chậm

2) ORDER BY id where id>=random()*N LIMIT 1- không đồng nhất nếu có khoảng trống

3) cột ngẫu nhiên - cần được cập nhật mọi lúc

4) tổng hợp ngẫu nhiên tùy chỉnh - phương pháp tinh ranh, có thể chậm: random () cần được tạo N lần

và đề xuất cải thiện phương pháp số 2 bằng cách sử dụng

5) ORDER BY id where id=random()*N LIMIT 1 với các truy vấn tiếp theo nếu kết quả là trống.

Cách dễ nhất và nhanh nhất để tìm nạp hàng ngẫu nhiên là sử dụng tsm_system_rowstiện ích mở rộng:

CREATE EXTENSION IF NOT EXISTS tsm_system_rows;

Sau đó, bạn có thể chọn số hàng chính xác mà bạn muốn:

SELECT myid  FROM mytable TABLESAMPLE SYSTEM_ROWS(1);

Điều này có sẵn với PostgreSQL 9.5 trở lên.

Xem: https://www.postgresql.org/docs/current/static/tsm-system-rows.html

Tôi đã nghĩ ra một giải pháp rất nhanh mà không cần TABLESAMPLE. Nhanh hơn nhiều so với OFFSET random()*N LIMIT 1. Nó thậm chí không yêu cầu đếm bảng.

Ý tưởng là tạo một chỉ mục biểu thức với dữ liệu ngẫu nhiên nhưng có thể dự đoán được, chẳng hạn md5(primary key).

Đây là một thử nghiệm với dữ liệu mẫu 1 triệu hàng:

create table randtest (id serial primary key, data int not null);

insert into randtest (data) select (random()*1000000)::int from generate_series(1,1000000);

create index randtest_md5_id_idx on randtest (md5(id::text));

explain analyze
select * from randtest where md5(id::text)>md5(random()::text)
order by md5(id::text) limit 1;

Kết quả:

 Limit  (cost=0.42..0.68 rows=1 width=8) (actual time=6.219..6.220 rows=1 loops=1)
   ->  Index Scan using randtest_md5_id_idx on randtest  (cost=0.42..84040.42 rows=333333 width=8) (actual time=6.217..6.217 rows=1 loops=1)
         Filter: (md5((id)::text) > md5((random())::text))
         Rows Removed by Filter: 1831
 Total runtime: 6.245 ms

Truy vấn này đôi khi có thể (với xác suất khoảng 1 / Number_of_rows) trả về 0 hàng, vì vậy nó cần được kiểm tra và chạy lại. Ngoài ra, các xác suất không hoàn toàn giống nhau - một số hàng có nhiều xác suất hơn những hàng khác.

Để so sánh:

explain analyze SELECT id FROM randtest OFFSET random()*1000000 LIMIT 1;

Kết quả rất khác nhau, nhưng có thể khá tệ:

 Limit  (cost=1442.50..1442.51 rows=1 width=4) (actual time=179.183..179.184 rows=1 loops=1)
   ->  Seq Scan on randtest  (cost=0.00..14425.00 rows=1000000 width=4) (actual time=0.016..134.835 rows=915702 loops=1)
 Total runtime: 179.211 ms
(3 rows)