Tôi đang thao túng và xử lý các raster toàn cầu ở độ phân giải 30m. Tổng kích thước raster thường là [1.440.000 560.000]. Tôi có quyền truy cập vào một siêu máy tính, vì vậy tôi đã viết mã cho phép tôi chia các trình quét toàn cầu thành các phần có thể quản lý, thực hiện một số phép tính song song và ghi chúng vào đĩa khá nhanh.
Tôi đã va vào một bức tường, mặc dù, khi nói đến việc hiển thị kết quả. Tôi thường xây dựng một raster ảo của gạch bao phủ toàn cầu và kéo nó vào QGIS. Nhưng nó cực kỳ chậm (vài phút để tải, nếu có). Và nếu tôi cố xoay hoặc phóng to, nó sẽ mất nhiều phút nữa. Cách tiếp cận đầu tiên của tôi để giải quyết vấn đề này là xây dựng tổng quan bằng gdaladdo. Tuy nhiên, những thứ này sẽ mất mãi mãi để xây dựng (như trong vài ngày), điều này không có lợi cho việc phát triển các thuật toán. Dưới đây là danh sách những điều tôi đã thử và tại sao / làm thế nào chúng thất bại.
xây dựng tổng quan về vrt. Như đã đề cập ở trên, việc này mất hơn 2 ngày để hoàn thành 8 cấp độ. Điều đó là không thể chấp nhận cho mục đích của tôi.
xây dựng tổng quan trên các ô riêng lẻ, sau đó bằng cách nào đó hợp nhất thành một vrt có chứa các tổng quan. Tôi có thể xây dựng các tổng quan trên gạch khá nhanh (siêu máy tính), nhưng tôi không thể khắc phục chúng. Tôi đã thử:
2a. gdal_merge trên các ô có tổng quan, nhưng các tổng quan không được giữ lại (hoặc ít nhất là không được công nhận bởi QGIS) trong tiff đầu ra.
2b. gdalbuildvrt trên các ô có tổng quan, nhưng như trên, các tổng quan không được giữ lại. [Điều này không chính xác, xem chỉnh sửa.]
2c. Tôi cũng đã thử kết hợp tổng quan xây dựng các ô cho các cấp 1-6 và xây dựng các cấp 7-8 trực tiếp trên vrt (về cơ bản là tùy chọn 2b) nhưng nó vẫn chỉ mất mãi mãi cho hai cấp này. Tôi đã làm một số thử nghiệm và thấy rằng tổng quan ngói đang thực sự sử dụng để xây dựng để tổng quan VRT, nhưng nó vẫn còn trên thứ tự của một ngày để hoàn thành việc tổng quan về VRT.
Vì vậy, tôi hy vọng ai đó ở đây có một số gợi ý về nơi tôi nên đi tiếp theo. Dưới đây là một số tùy chọn tôi đang xem xét:
Tự tay tạo ra các kim tự tháp toàn cầu. Tôi cảnh giác khi kết hợp chúng thành một tệp .ovr vì tôi cho rằng điều đó sẽ khó khăn.
Sử dụng máy chủ bản đồ (Geoserver). Tôi biết rất ít về điều này và tôi lo lắng rằng nó sẽ không vượt qua được rào cản thời gian trong khi thêm sự phức tạp vào quy trình của tôi.
Tách tên miền theo châu lục hoặc một số khu vực khác. Tôi thực sự muốn tránh tùy chọn này.
Bạn có thể hỏi "tại sao bạn cần xem toàn bộ quả cầu ở độ phân giải 30m?" Một ví dụ: Tôi lấy mặt nạ các pixel nước (trên toàn cầu) và khung xương để tìm sông và thực hiện các phép đo. Thuật toán skeletonization của tôi yêu cầu một chút điều chỉnh (để cắt tỉa nhánh, loại bỏ các vòng lặp, làm sạch chung, v.v.), và đầu ra nhất thiết phải ở mức 30m. Vì các dòng sông và cảnh quan rất đa dạng trên toàn cầu, tôi cần có thể xoay quanh để xem tác động của bất kỳ thay đổi nào tôi đã thực hiện.
Tôi cũng đã xem qua QGIS để đảm bảo rằng không có bất kỳ cài đặt nào tôi có thể chơi để hiển thị các trình quét lớn nhanh hơn, nhưng tôi không thấy gì cả. Thiếu mua ổ SSD, tôi nghĩ rằng nó chạy nhanh nhất có thể. (Ổ cứng của tôi có I / O ~ 250MB / s).
Tôi phát hiện ra rằng việc xây dựng các tổng quan trên các ô riêng lẻ, sau đó xây dựng một vrt dường như duy trì các tổng quan - phần "Kim tự tháp" của QGIS trong siêu dữ liệu cho tệp trống, nhưng trong phần "Kích thước" có một mục nhập cho mỗi cấp độ tổng quan (ví dụ: X 720000, Y 140; X 360000, Y 70, v.v.). Vì vậy, tôi đã sai khoảng 2b.
Tôi cũng thấy rằng nếu tôi chỉ kéo tất cả các ô vào QGIS, nó sẽ hiển thị trong vòng một phút, trong khi nếu tôi kéo vrt tham chiếu các ô đó, sẽ mất> 5 phút (không biết chính xác tôi đã giết bao lâu quá trình).
Tôi đã thực hiện một số thử nghiệm trên máy tính có ổ SSD và tôi thấy rằng tôi có thể tải, hiển thị và hiển thị các vrts toàn cầu (không có bất kỳ tổng quan nào) một cách thành công và ở mức chấp nhận được. Tôi đã đặt mua ổ SSD PCIe 1TB với hy vọng nó sẽ cho phép tôi làm điều tương tự trên máy tính của mình. Sẽ cập nhật với kết quả.
I also tried a hybrid of building overviews for the tiles for levels 1-6 and building levels 7-8 directly on the vrtmà cảm thấy giống như thứ tự mà bạn đề xuất và đó tự nhiên là đúng. Bản thân tôi sẽ không tính toán 2 4 8 ... tổng quan về VRT nếu các ô riêng lẻ có chúng để tiết kiệm thời gian và dung lượng đĩa. ROI nhỏ sau đó sẽ tìm thấy tổng quan từ một vài gạch và điều đó là đủ nhanh.