Làm cách nào để cải thiện hiệu suất khi sử dụng con trỏ ArcGIS trong Python với các bảng lớn?

Tôi có một lớp tính năng điểm khá lớn trong cơ sở dữ liệu địa lý tệp (~ 4 000 000 bản ghi). Đây là một lưới điểm thông thường với độ phân giải 100m.

Tôi cần phải thực hiện một loại khái quát trên lớp này. Đối với điều này, tôi tạo một lưới mới trong đó mỗi điểm nằm ở giữa 4 điểm "cũ":

 *     *     *     *
    o     o     o
 *     *     *     *
    o     o     o
 *     *     *     *

[*] = điểm của lưới ban đầu - [o] = điểm của lưới mới

Giá trị thuộc tính của mỗi điểm mới được tính dựa trên các giá trị trọng số của 4 lân cận của nó trong lưới cũ. Do đó, tôi lặp trên tất cả các điểm của lưới mới của mình và đối với mỗi điểm trong số chúng, tôi lặp trên tất cả các điểm của lưới cũ của mình để tìm hàng xóm (bằng cách so sánh các giá trị của X và Y trong bảng thuộc tính). Khi 4 hàng xóm đã được tìm thấy, chúng tôi ra khỏi vòng lặp.

Không có sự phức tạp về phương pháp ở đây nhưng vấn đề của tôi là, dựa trên các thử nghiệm đầu tiên của tôi, kịch bản này sẽ kéo dài trong nhiều tuần để hoàn thành ...

Bạn có thấy bất kỳ khả năng để làm cho nó hiệu quả hơn? Một vài ý tưởng trên đỉnh đầu của tôi:

• Lập chỉ mục các trường X và Y => Tôi đã làm điều đó nhưng không nhận thấy bất kỳ thay đổi hiệu suất đáng kể nào
• Thực hiện một truy vấn không gian để tìm hàng xóm thay vì truy vấn dựa trên thuộc tính. Điều đó thực sự sẽ giúp? Chức năng không gian nào trong ArcGIS nên thực hiện công việc? Tôi nghi ngờ rằng, ví dụ, đệm từng điểm mới sẽ chứng minh hiệu quả hơn
• Chuyển đổi lớp tính năng thành một NumPy Array. Điều đó sẽ giúp? Tôi đã không làm việc nhiều với NumPy cho đến nay và tôi không muốn đi sâu vào nó trừ khi có ai đó nói với tôi rằng nó thực sự có thể giúp giảm thời gian xử lý
• Còn gì nữa không?

Điều gì sẽ xảy ra nếu bạn cho các điểm vào một mảng numpy và sử dụng một cKDTree xảo quyệt để tìm kiếm hàng xóm. Tôi xử lý các đám mây điểm LiDAR với số lượng điểm lớn (> 20 triệu) trong vài PHÚT bằng kỹ thuật này. Có tài liệu ở đây cho kdtree và ở đây để chuyển đổi numpy. Về cơ bản, bạn đọc x, y thành một mảng và lặp lại qua từng điểm trong mảng tìm chỉ số của các điểm trong một khoảng cách nhất định (vùng lân cận) của mỗi điểm. Bạn có thể sử dụng các chỉ số này để tính toán các thuộc tính khác.

Tôi với Barbarossa ... các con trỏ cực kỳ khập khiễng, vì vậy tôi chỉ sử dụng chúng để đi qua một bảng hoặc lớp đặc trưng chính xác một lần. Nếu tôi không thể hoàn thành công việc trong một chu kỳ, tôi sử dụng con trỏ để điền vào một số loại cấu trúc dữ liệu khác và làm việc với điều đó.

Nếu bạn không muốn gặp rắc rối với numpy, chỉ cần tạo một từ điển python đơn giản trong đó bạn sử dụng tọa độ của mình làm khóa văn bản đơn giản và điền các thuộc tính bạn cần để tính vào danh sách làm giá trị của mục từ điển.

Trong bước thứ hai, bạn có thể dễ dàng nhận được các giá trị bạn cần để tính điểm bằng cách đơn giản lấy chúng từ từ điển của bạn (điều này cực kỳ nhanh, vì từ điển hashindex của các mục).

Đối với một lưới thông thường, sẽ hiệu quả hơn nhiều khi làm việc ở định dạng raster. Chuyển đổi lưới đầu tiên của bạn thành raster, bạn có thể lấy mẫu lại ở cùng độ phân giải bằng cách sử dụng bộ nội suy song tuyến tính nhưng thay đổi hình ảnh đầu ra của bạn bằng 1/2 pixel trong X và Y, và quay lại điểm nếu bạn vẫn cần có điểm.

EDIT: đối với các quy tắc quyết định phức tạp, bạn có thể chuyển đổi từng trường mà bạn cần dưới dạng băng raster mới, sau đó bạn tạo bốn bản sao của các dải đó và bạn dịch chuyển raster theo 4 hướng bằng 1/2 pixel (+50, - 50), (+ 50, + 50), (-50, -50) và (-50, + 50). Sau đó, bạn có thể sử dụng đại số bản đồ thông thường

Cảm ơn mọi người đã giúp đỡ!

Cuối cùng tôi đã tìm thấy một cách rất phi kim để giải quyết vấn đề này ... Điều thực sự tốn nhiều thời gian tính toán nhất là tìm ra 4 người hàng xóm của mỗi điểm. Thay vì sử dụng các thuộc tính X và Y (với con trỏ hình cung hoặc trong cấu trúc dữ liệu khác, chẳng hạn như một bộ sưu tập python), tôi đã kết thúc bằng cách sử dụng công cụ ArcGIS Tạo gần bảng . Tôi cho rằng điều này tận dụng các chỉ số không gian và hiệu suất rõ ràng cao hơn nhiều, mà tôi không phải tự mình thực hiện chỉ số.

Vấn đề với con trỏ là bạn chỉ có thể quay vòng qua chúng theo một cách và bạn không thể quay lại. Mặc dù không được khuyến nghị, bạn có thể đưa các feautres vào một cấu trúc nếu bạn dự định xem lại chúng.

Nếu bạn có thể xử lý các tính năng của mình trong một vòng lặp, tôi khuyên bạn nên cho phép tái chế. Đó là một tham số trên chức năng featureclass tìm kiếm của bạn cho phép python sử dụng lại bộ nhớ được phân bổ bởi các tính năng cũ và giúp truyền tải các tính năng trong một con trỏ nhanh hơn nhiều. Bạn có thể xử lý lưới của bạn nhanh hơn 80%.

Vấn đề là bạn không thể cho phép tái chế nếu bạn dự định lưu trữ các tính năng đã truy xuất từ ​​một con trỏ.