Tăng tốc truy vấn OpenStreetMap PostGIS

Tôi có dữ liệu OpenStreetMap cho Hà Lan được tải vào cơ sở dữ liệu PostGIS (PostgreQuery 8.3 / PostGIS 1.3.3) bằng cách sử dụng lược đồ thẩm thấu . Điều này có nghĩa là tất cả các thẻ được lưu trữ trong một trường hstore . Ngoài chỉ số GIST mà thẩm thấu tạo ra trên trường hình học, tôi đã tạo một chỉ mục GIST bổ sung trên trường thẻ.

Cố gắng truy vấn bằng cả ràng buộc không gian và ràng buộc trên trường thẻ, tôi thấy rằng nó chậm hơn tôi muốn. Một truy vấn như thế này:

SELECT n.geom,n.tags,n.tstamp,u.name FROM nodes AS n 
  INNER JOIN users AS u ON n.user_id = u.id 
  WHERE tags->'man_made'='surveillance' 
  AND ST_Within(geom, ST_GeomFromText('POLYGON((4.0 52.0,5.0 52.0,5.0 53.0,4.0 53.0,4.0 52.0))',4326));

mất 22 giây để trả lại 78 hồ sơ.

Có khoảng 53 triệu hồ sơ trong bảng này.

Có cách nào để tăng tốc đáng kể điều này không? Tôi đã nghe nói rằng hstore được triển khai tốt hơn đáng kể trong PostgreSQL 9, liệu có nâng cấp được không?

Một phương pháp sẽ là truy vấn các thẻ bạn quan tâm và đặt các bản ghi đó vào một bảng mới. Sau đó, bạn sẽ chỉ cần truy vấn bảng mới thay vì tất cả 53 triệu bản ghi. Nếu bạn đang cố gắng cập nhật cơ sở dữ liệu của mình, bạn có thể chạy truy vấn này mỗi khi bạn nhận được dữ liệu mới từ OSM.

Bạn có thể thử tạo một chỉ mục cho cột hstore của bạn,

CREATE INDEX nodes_tags_idx ON nodes USING GIST(tags)

và sau đó sử dụng ?toán tử để giới hạn truy vấn chỉ các hàng đó:

SELECT n.geom,n.tags,n.tstamp,u.name FROM nodes AS n 
  INNER JOIN users AS u ON n.user_id = u.id 
  WHERE tags ? 'man_made'
  AND tags->'man_made'='surveillance' 
  AND ST_Within(geom, ST_GeomFromText('POLYGON((4.0 52.0,5.0 52.0,5.0 53.0,4.0 53.0,4.0 52.0))',4326));

Các hàm st_within và _st_within không được biết đến với tốc độ của chúng. Toán tử && có thể giúp vì nó sẽ kiểm tra bbox thay vì hình học

Bạn có thể thử như sau:

SELECT n.geom,n.tags,n.tstamp,u.name FROM nodes AS n 
  INNER JOIN users AS u ON n.user_id = u.id 
  WHERE tags ? 'man_made'
  AND tags->'man_made'='surveillance' 
  AND geom && ST_SetSRID('BOX3D(4 52,5 53)'::box3d,4326);

Để biết thêm mẹo về hiệu suất, hãy kiểm tra: http://postgis.refraction.net/docs/ch06.html

Vấn đề với truy vấn của bạn là tags->'man_made'='surveillance'mệnh đề. Điều này buộc Postgres phải mở rộng các thẻ hstore và không cho phép nó sử dụng chỉ mục. Nếu bạn viết lại bằng cách sử dụng @>(chứa) nó sẽ cho phép sử dụng chỉ mục.

Vì bạn đang truy vấn một hình chữ nhật, bạn có thể sử dụng &&thay vì ST_Within. Điều này sẽ có một mức tăng nhỏ, vì ST_Within không phức tạp để đánh giá và ST_Within hoàn toàn &&kiểm tra.

Việc tăng tốc độ bổ sung sẽ là sử dụng chỉ số GIN trên các thẻ thay vì chỉ số GIST. Các chỉ mục GIN mất nhiều thời gian hơn để xây dựng nhưng nhanh hơn.

Toàn bộ truy vấn sẽ là

SELECT n.geom,n.tags,n.tstamp,u.name FROM nodes AS n INNER JOIN users AS u ON n.user_id = u.id WHERE tags @> hstore('man_made', 'surveillance') AND geom && ST_GeomFromText('POLYGON((4.0 52.0,5.0 52.0,5.0 53.0,4.0 53.0,4.0 52.0))',4326);

Nếu bạn biết bạn sẽ truy vấn một thẻ cụ thể rất nhiều, bạn có thể tạo một chỉ mục một phần trên đó CREATE INDEX ON nodes ( tags->'man_made' ) WHERE (tags->'man_made' IS NOT NULL);.

Điều này sẽ cho phép điều kiện WHERE tags->'man_made'='surveillance'sử dụng chỉ mục. Thật không may, chỉ mục đó không thể giúp @>truy vấn và các chỉ mục GIN hoặc GIST không thể giúp tags->'foo'truy vấn, vì vậy bạn phải khớp các truy vấn với các chỉ mục bạn có.

thay vào đó hãy thử:

CHỌN n.geom, n.tags, n.tstamp, u.name TỪ các nút AS n INNER THAM GIA người dùng NHƯ u ON , ST_GeomFromText ('POLYGON ((4.0 52.0,5.0 52.0,5.0 53.0,4.0 53.0,4.0 52.0))', 4326));