Đọc và phân loại lại hiệu quả nhiều trình quét trong R?

Tôi đã được giao nhiệm vụ tạo ra một phân tích phù hợp về điều kiện sóng ở Vịnh Mexico. Tôi có 2 nghìn tệp raster khoảng 8 MB mỗi tệp (2438 cột, 1749 hàng, kích thước ô 1km). Tham số trong các tệp raster là chu kỳ sóng và tôi muốn phân loại lại tất cả các raster sao cho nếu 4<= wave period <=9 then make cell = 1khác ô = 0. Sau đó tổng hợp tất cả các raster thành một raster cuối cùng và chia cho tổng số raster để cung cấp cho tổng tỷ lệ quan sát phù hợp và xuất kết quả sang một số định dạng tương thích ESRI ... có thể là thứ gì đó có thể hỗ trợ nổi nếu cần. Tôi đã không làm việc nhiều với Python hoặc R, nhưng sau khi tìm kiếm trực tuyến, có vẻ hợp lý khi thực hiện quy trình này bằng một trong những ngôn ngữ đó. Tôi đã đưa ra một số mã cho đến nay trong R, nhưng bối rối về cách làm cho nó hoạt động.

library(rgdal)
raster_data <- list.files(path=getwd())    #promt user for dir containing raster files
num_files <- length(raster_data)
for (i in raster_data) {                   #read in rasters
   my_data <- readGDAL(raster_data[i])

Tại thời điểm này, tôi bối rối không biết có nên phân loại lại và bắt đầu tổng hợp dữ liệu trong vòng lặp này hay không. Tôi đoán là có vì nếu không tôi nghĩ rằng tôi có thể sẽ hết bộ nhớ trên máy tính, nhưng không chắc chắn. Tôi cũng không chắc chắn về cách phân loại lại dữ liệu.

Trong nghiên cứu trực tuyến tôi nghĩ rằng tôi sẽ sử dụng reclass(my_data, c(-Inf,3,0, 4,9,1, 10,Inf,0)), nhưng điều đó có đúng không?

Và để tổng kết tôi sẽ sử dụng sum(stack(my_data))và bằng cách nào đó đầu ra đó. Ngoài ra ... nếu điều này có thể được thực hiện hoặc viết bằng Python hiệu quả hơn thì tôi cũng sẽ mở nó. Tôi thực sự là người mới bắt đầu khi nói đến lập trình.

Đây là một cách ngắn gọn để làm điều đó trong R --- ở đây mà không cần các tệp trung gian:

library(raster)
raster_data <- list.files(path=getwd())    #promt user for dir containing raster files
s <- stack(raster_data)
f <- function(x) { rowSums(x >= 4 & x <= 9) }
x <- calc(s, f, progress='text', filename='output.tif')

Như tôi nhận thấy trong các bình luận, nói chung, bạn nên tránh sử dụng R cho các mục đích phi thống kê do các vấn đề về hiệu suất ở một số khía cạnh nhất định (làm việc với các chu kỳ là một ví dụ). Dưới đây là ví dụ mã cho bạn ở Pyhton (nhờ bài viết này ) để phân loại lại một tệp với một băng tần duy nhất. Bạn sẽ có thể sửa đổi nó dễ dàng để xử lý hàng loạt nếu bạn biết cách lấy tất cả các tệp từ thư mục . Lưu ý rằng các trình quét được biểu diễn dưới dạng mảng, vì vậy bạn có thể sử dụng các phương thức mảng để cải thiện hiệu suất khi áp dụng. Để làm việc với các mảng trong Python, xem tài liệu Numpy .

CẬP NHẬT: mã tôi đã đăng ban đầu là phiên bản rút gọn của bộ lọc tùy chỉnh cần cho mỗi xử lý pixel. Nhưng đối với câu hỏi này, việc sử dụng Numpy sẽ tăng hiệu suất (xem mã).

from osgeo import gdal
import sys
import numpy

gdalData = gdal.Open("path_to_file")
if gdalData is None:
  sys.exit("ERROR: can't open raster")

#print "Driver short name", gdalData.GetDriver().ShortName
#print "Driver long name", gdalData.GetDriver().LongName
#print "Raster size", gdalData.RasterXSize, "x", gdalData.RasterYSize
#print "Number of bands", gdalData.RasterCount
#print "Projection", gdalData.GetProjection()
#print "Geo transform", gdalData.GetGeoTransform()


raster = gdalData.ReadAsArray()
xsize = gdalData.RasterXSize
ysize = gdalData.RasterYSize

#print xsize, 'x', ysize

## per pixel processing
#for col in range(xsize):
#  for row in range(ysize):
#    # if pixel value is 16 - change it to 7
#    if raster[row, col] == 16:
#      raster[row, col] = 7

#reclassify raster values equal 16 to 7 using Numpy
temp = numpy.equal(raster, 16)
numpy.putmask(raster, temp, 7)

# write results to file (but at first check if we are able to write this format)
format = "GTiff"
driver = gdal.GetDriverByName(format)
metadata = driver.GetMetadata()
if metadata.has_key(gdal.DCAP_CREATE) and metadata[gdal.DCAP_CREATE] == "YES":
  pass
else:
  print "Driver %s does not support Create() method." % format
  sys.exit(1)
if metadata.has_key(gdal.DCAP_CREATECOPY) and metadata[gdal.DCAP_CREATECOPY] == "YES":
  pass
else:
  print "Driver %s does not support CreateCopy() method." % format
  sys.exit(1)

# we already have the raster with exact parameters that we need
# so we use CreateCopy() method instead of Create() to save our time
outData = driver.CreateCopy("path_to_new_file", gdalData, 0)
outData.GetRasterBand(1).WriteArray(raster)

1. Đừng sử dụng readGDAL. Nó đọc vào một đối tượng Spatial * có thể không phải là một ý tưởng tốt ..

2. Sử dụng rastergói. Nó có thể đọc những thứ GDAL vào các đối tượng Raster. Đây là một điều tốt. r = raster("/path/to/rasterfile.tif")sẽ đọc nó vào r.

3. Phân loại của bạn là sau đó t = r > 4 & r <= 9

4. Câu hỏi lớn là liệu có xuất các tệp này sang các tệp raster mới hay không và sau đó thực hiện bước tóm tắt trong một vòng lặp khác. Nếu bạn đã có bộ nhớ, tôi sẽ ghi chúng vào các tệp mới chỉ vì nếu vòng lặp của bạn không thành công (vì một trong số 2000 tệp đó là rác), bạn sẽ phải bắt đầu lại. Vì vậy, sử dụng writeRasterđể tạo raster ngưỡng nếu bạn quyết định làm điều đó.

5. Vòng lặp của bạn sau đó chỉ là một cái gì đó như

điều này.

count = raster(0,size of your raster)
for(i in 1:number of rasters){
  r = raster(path to binary raster file 'i')
  count = count + r
}
return(count)

Quản lý bộ nhớ của R có thể đánh bạn ở đây - khi bạn làm count=count+rR cũng có thể tạo một bản sao mới count. Vì vậy, đó có khả năng là 2000 bản sao của nó - nhưng bộ sưu tập rác sẽ hoạt động và dọn sạch, và ở đây, vòng lặp của R từng rất tệ.

Về mặt thời gian, trên PC 4yo của tôi, ngưỡng op mất khoảng 1,5 giây trên một raster có kích thước của các số ngẫu nhiên trong khoảng từ 0 đến 20. Lần 2000 = bạn làm toán. Như mọi khi, hãy tạo một bộ thử nghiệm nhỏ để phát triển mã, sau đó khởi chạy nó trên dữ liệu thực của bạn và đi uống cà phê.