Các cách để tăng tốc tập lệnh Python chạy dưới dạng công cụ ArcGIS [đã đóng]

Đây là một câu hỏi khá chung chung. Tôi chỉ tự hỏi những mẹo và thủ thuật mà các lập trình viên GIS đã sử dụng để tăng tốc các tập lệnh phức tạp mà bạn nhập vào hộp công cụ và chạy.

Tôi làm việc hầu hết hàng ngày bằng cách viết các tập lệnh nhỏ để giúp những người dùng không phải là GIS tại văn phòng của tôi xử lý dữ liệu GIS. Tôi đã thấy rằng việc xử lý ArcGIS 10.0 nói chung chậm hơn 9.3.1 và đôi khi nó còn chậm hơn khi chạy tập lệnh python.

Tôi sẽ liệt kê một ví dụ cụ thể về một kịch bản mất hơn 24 giờ để chạy. Đó là một vòng lặp lập bảng diện tích của raster trong bộ đệm cho mỗi hình dạng trong bộ đệm. Bộ đệm có khoảng 7000 hình dạng. Tôi không tin rằng nó sẽ chạy lâu như vậy. Một

while x <= layerRecords:

    arcpy.SetProgressorLabel("Tabulating Row: " + str(x) + " of " + str(ELClayerRecords))
    arcpy.SelectLayerByAttribute_management(Buff,"NEW_SELECTION", "Recno = " + str(x))                                  # Selecting the record
    TabulateArea(Buff, "Recno", MatGRID, "VALUE", ScratchWS + "/tab" + str(z) +".dbf", nMatGRIDc)                          # Tabulate the area of the single row

    arcpy.AddMessage ("          - Row: " + str(x) + " completed")
    x = x + 1
    z = z + 1

Trước khi bất cứ ai nói điều đó, tôi đã chạy khu vực lập bảng trên toàn bộ bộ đệm, nhưng nó tạo ra lỗi nếu chạy trên nhiều hơn 1 bản ghi. Đó là một công cụ thiếu sót, nhưng tôi phải sử dụng nó.

Dù sao, nếu bất cứ ai có bất kỳ ý tưởng nào về cách tối ưu hóa, hoặc tăng tốc kịch bản này, nó sẽ được đánh giá cao nhất. Nếu không, bạn có bất kỳ thủ thuật tăng tốc nào cho python, khi được sử dụng trong ArcGIS không?

Một vài gợi ý tiềm năng để giúp tăng tốc quá trình của bạn là:

1. Chọn Layer By Attribution có thể nằm trong tập lệnh chỉ dành cho Python mà không cần khởi chạy ArcGIS Desktop. Bạn cần chuyển đổi tham chiếu "buff" của mình từ tham chiếu dựa trên tệp sang tham chiếu "lớp ArcGIS", ArcGIS có thể xử lý các truy vấn lựa chọn. Sử dụng arcpy.MakeFeatureLayer_man Quản lý ("buff", "buff_lyr") phía trên vòng lặp "while" của bạn, sau đó thay đổi các tham chiếu của bạn bên dưới vòng lặp while để sử dụng "buff_lyr".

2. Xử lý càng nhiều thao tác GP của bạn bằng cách sử dụng không gian làm việc in_memory càng tốt ... Sử dụng arcpy.CopyFeatures_man quản lý (shapefile, "in_memory \ memFeatureClass") để chuyển nguồn của bạn vào bộ nhớ. Điều này chỉ hoạt động tốt nếu bạn có đủ RAM để đọc tất cả (các) lớp tính năng mà bạn cần vào bộ nhớ. Tuy nhiên, hãy coi chừng rằng có một số hoạt động GP không thể chạy bằng không gian làm việc in_memory (Ví dụ: công cụ Project).

Từ bài viết trợ giúp trực tuyến ArcGIS 9.3 " Dữ liệu trung gian và không gian làm việc đầu " (lưu ý, ngôn ngữ này đã bị xóa khỏi trợ giúp 10.0 & 10.1):

LƯU Ý: Chỉ các bảng và các lớp đối tượng (điểm, đường, đa giác) có thể được ghi vào không gian làm việc in_memory. Không gian làm việc in_memory không hỗ trợ các thành phần cơ sở dữ liệu địa lý mở rộng như các kiểu con, tên miền, biểu diễn, cấu trúc liên kết, mạng hình học và bộ dữ liệu mạng. Chỉ các tính năng đơn giản và bảng có thể được viết.

Từ bài viết trợ giúp trực tuyến ArcGIS 10.1 " Sử dụng không gian làm việc trong bộ nhớ ":

Các cân nhắc sau đây phải được thực hiện khi quyết định ghi đầu ra vào không gian làm việc trong bộ nhớ:

• Dữ liệu được ghi vào không gian làm việc trong bộ nhớ là tạm thời và sẽ bị xóa khi đóng ứng dụng.
• Bảng, lớp tính năng và trình quét có thể được ghi vào không gian làm việc trong bộ nhớ.
• Không gian làm việc trong bộ nhớ không hỗ trợ các yếu tố cơ sở dữ liệu địa lý mở rộng như các kiểu con, miền, biểu diễn, cấu trúc liên kết, mạng hình học và bộ dữ liệu mạng.
• Bộ dữ liệu tính năng hoặc thư mục không thể được tạo trong không gian làm việc trong bộ nhớ.

Các kỹ thuật tối ưu hóa python nói chung có thể giúp bạn tiết kiệm đáng kể thời gian.

Một kỹ thuật thực sự tốt để giảm thiểu tình trạng nắm giữ trong tập lệnh của bạn là sử dụng mô-đun cProfile tích hợp:

from cProfile import run
run("code") # replace code with your code or function

Kiểm tra bằng cách sử dụng một mẫu dữ liệu nhỏ sẽ cho phép bạn xác định chính xác các cuộc gọi chức năng nào đang chiếm nhiều thời gian nhất.

Con trỏ chung cho mã python nhanh hơn:

• Việc hiểu danh sách thường nhanh hơn vòng lặp
• Máy phát điện sản xuất một mặt hàng cùng một lúc thay vì tạo toàn bộ danh sách cùng một lúc
• Sử dụng xrange thay vì phạm vi trong python 2 (không cần thiết trong 3)
• Bộ có thể ra khỏi danh sách phôi khi nói đến việc xác định nếu một mục có mặt trong tập nhưng nói chung là chậm hơn so với danh sách khi nói đến iterating trên nội dung của họ Nguồn
• Các cuộc gọi chức năng có thể tốn kém để thực hiện Nguồn
• Thêm mẹo và chi tiết kiểm tra tại đây Mẹo về Perfomance Python và tại đây 10 Mẹo và vấn đề tối ưu hóa Python

Liên quan đến tập lệnh của bạn, tôi không thể nhận xét về các khía cạnh ArcPy vì tôi không cài đặt Arc trên máy tính này nhưng bạn có thể muốn thử sử dụng vòng lặp for thay vì vòng lặp while xem điều đó có cải thiện gì không. Ngoài ra x = x + 1 có thể được viết là x + = 1:

for record in layerRecords:
arcpy.SetProgressorLabel("Tabulating Row: " + str(x) + " of " + str(ELClayerRecords))
arcpy.SelectLayerByAttribute_management(Buff,"NEW_SELECTION", "Recno = " + str(x))                                  # Selecting the record
TabulateArea(Buff, "Recno", MatGRID, "VALUE", ScratchWS + "/tab" + str(z) +".dbf", nMatGRIDc)                          # Tabulate the area of the single row

arcpy.AddMessage ("          - Row: " + str(x) + " completed")
x+=1
y+=1

Hãy chắc chắn rằng bạn đang ghi vào ổ đĩa trên máy tính. Tiếp cận trên mạng khi không cần thiết thực sự có thể làm chậm quá trình xử lý. Thậm chí có thể nhanh hơn để sao chép dữ liệu là bước đầu tiên trong quy trình để giữ cho việc đọc-ghi tiếp theo nhanh nhất có thể

Chạy tập lệnh hoàn toàn bên ngoài ArcMap có thể nhanh hơn nhiều. Nếu Bản đồ không bắt buộc trong quá trình xử lý, thì đừng sử dụng ArcMap.

Điều này có thể không trả lời câu hỏi của bạn để chạy các công cụ ArcPy bên trong ArcMap nhưng khi tôi cần thực hiện một số xử lý nhuần nhuyễn với các công cụ xử lý địa lý và Python, tôi có xu hướng chạy nó bên ngoài hệ thống GIS bằng IDE PyScripter . Tôi đã tìm thấy nó chạy nhanh hơn. Tôi cũng đã sử dụng RAMDISK cho các bộ dữ liệu đầu ra tạm thời nhỏ (hơi giống với không gian làm việc in_memory )

Vâng, họ là những lời khuyên hàng đầu của tôi! :)

Hãy thử nhận xét arcpy.SetProTHERorLabel và xem bạn tăng tốc bao nhiêu. Tôi đã thấy rằng bất kỳ đầu ra màn hình nào, quay trở lại với sự kinh ngạc của DOS, làm chậm đáng kể thời gian xử lý. Nếu bạn thực sự cần xem đầu ra đó, hãy thử hiển thị nó ở mỗi vòng lặp thứ N.

Đảm bảo rằng bạn xóa bất kỳ import xxxxdòng nào không được sử dụng.

(ví dụ: nếu bạn chưa sử dụng bất kỳ hàm toán học nào bạn có import Math, việc này sẽ mất một chút thời gian từ khi tải tập lệnh)

Mặc dù điều này sẽ không có tác động lớn đến các tập lệnh đơn chạy (chẳng hạn như tập lệnh của bạn), nhưng nó sẽ ảnh hưởng đến bất kỳ tập lệnh nào chạy thường xuyên và lặp đi lặp lại.