lập bản đồ trên một triệu điểm bằng cách sử dụng QGIS

Tôi đang cố gắng lập bản đồ CSV với hơn một triệu điểm lat / lon ở Hoa Kỳ không có siêu dữ liệu. Tôi chưa bao giờ thử lập bản đồ nhiều dữ liệu này và muốn biết tôi nên thực hiện các bước nào. Tôi biết đó là quá nhiều dữ liệu cho QGIS vì vậy tôi đã thử chia nó thành 100.000 dòng CSV nhưng sau đó có rất nhiều tệp mà tôi không biết phải làm gì. Tôi nghĩ có lẽ tốt nhất là tổng hợp các điểm theo khối điều tra dân số nhưng không biết cách tốt nhất để làm điều đó bằng Javascript (Tôi chưa bao giờ sử dụng Python) hoặc các công cụ dòng lệnh? Bất kỳ đề xuất?

Tôi khuyên bạn nên sử dụng PostgreSQL / PostGIS, vì nó được hỗ trợ bởi QGIS, có một số chức năng tích hợp sẵn để kết hợp với dữ liệu không gian khác (như vùng điều tra dân số) và việc sử dụng cơ sở dữ liệu sẽ hạn chế các vấn đề về bộ nhớ với bộ dữ liệu lớn. Bộ các bước được đề nghị của tôi là dưới đây. Để thực thi các lệnh SQL, bạn có thể sử dụng PGAdmin hoặc QGIS, cái trước sẽ cung cấp cho bạn nhiều lỗi thông tin hơn về các truy vấn, cái sau sẽ cho phép bạn tải kết quả của các truy vấn dưới dạng các lớp trên bản đồ. Để truy cập vào sau, đi đến Database > DB Manager > DB Managervà bấm vào nút thứ hai.

1. Bắt đầu thiết lập PostGIS , cũng là trình cài đặt nhanh
2. Tạo một bảng trong cơ sở dữ liệu của bạn bằng cách sử dụng CREATE TABLElệnh ( ví dụ ) trong Cửa sổ SQL QGIS hoặc trong Cửa sổ SQL của PGAdmin
3. Nhập csv của bạn bằng lệnh COPY sql hoặc chức năng nhập được tích hợp sẵn của PGAdmin bằng cách nhấp chuột phải vào bảng của bạn trong PGAdmin và nhấp vào Import...(cái này có thể rất tinh tế vì vậy tôi khuyên dùng COPY cho các bộ dữ liệu lớn hơn).

4. Thêm một cột hình học vào bảng của bạn bằng cách thực thi SQL sau trong PGAdmin hoặc cửa sổ SQLISIS.

   ALTER TABLE some_table ADD COLUMN geom geometry(Point,4326);
   

5. Tạo hình học điểm bằng cách sử dụng một cái gì đó như

   UPDATE yourtable SET geom = ST_SetSRID(ST_MakePoint( x, y), 4326);
   

6. Hiển thị một tập hợp con dữ liệu bằng cách sử dụng một SELECTcâu lệnh với nội dung nhưLIMIT 50000

7. Hoặc tham gia dữ liệu điều tra dân số với nội dung như

   CHỌN c.gid, c.geom
   TỪ điều tra dân số c
   INNER THAM GIA yourdata TRÊN ST_Within (yourdata.geom, c.geom)

Tham khảo chức năng:
ST_Within
ST_MakePoint
ST_SetSRID

Gần đây tôi đã làm việc với bộ dữ liệu 1,4 triệu điểm được nhập từ CSV. Tôi chắc chắn xóa bất kỳ trường không liên quan trong csv. Nó hoạt động tốt với tôi, mặc dù một số quy trình mất một chút thời gian để thực hiện. (QGIS 2.12, Windows 7 bit 64, RAM 8 Gb)

Một ứng cử viên R fwiw, trong mã giả:

library(rgdal) ## for spatial export
library(readr) ## for fast file read

x <- read_csv("file.csv") 
names(x)  ## some as yet unknown columns

coordinates(x) <- c("x", "y")  ## your coordinate names may be different

writeOGR(x, ".", layer = "filepoints", driver = "MapInfo File")

Điều này sẽ cung cấp cho bạn một filepoints.tab trong thư mục làm việc mà bạn có thể đọc với QGIS. Hoặc chọn "ESRI Shapefile" để tạo filepoints.shp hoặc bất kỳ định dạng nào bạn cần. QGIS sử dụng GDAL giống như rgdal, vì vậy có rất nhiều sự chồng chéo. Có các cơ chế Python tương tự.

Vì bạn không có bất kỳ siêu dữ liệu nào, bạn có thể có một bộ sau khi gán tọa độ (x) để đặt proj4 chuỗi (x) <- CRS ("+ proj = Something + etc") nhưng chúng tôi chỉ có thể đoán dữ liệu của bạn.