Raster diff: làm thế nào để kiểm tra xem hình ảnh có giá trị giống hệt nhau không?

Có phương tiện nào để kiểm tra xem có bất kỳ 2 lớp raster nào có nội dung giống hệt nhau không?

Chúng tôi có một vấn đề về dung lượng lưu trữ được chia sẻ của công ty: hiện tại nó lớn đến mức phải mất hơn 3 ngày để tiến hành sao lưu toàn bộ. Điều tra sơ bộ cho thấy một trong những thủ phạm tiêu tốn không gian lớn nhất là bật / tắt các trình quét thực sự nên được lưu trữ dưới dạng các lớp 1 bit với nén CCITT.

Hình ảnh mẫu này hiện là 2 bit (vì vậy 3 giá trị có thể) và được lưu dưới dạng tiff nén LZW, 11 MB trong hệ thống tệp. Sau khi chuyển đổi thành 1 bit (vì vậy 2 giá trị có thể) và áp dụng nén CCITT Nhóm 4, chúng tôi giảm xuống còn 1,3 MB, gần như là một mức tiết kiệm đầy đủ.

(Đây thực sự là một công dân cư xử rất tốt, có những người khác được lưu trữ dưới dạng float 32bit!)

Đây là tin tuyệt vời! Tuy nhiên, có gần 7.000 hình ảnh để áp dụng điều này quá. Sẽ thật đơn giản để viết một kịch bản để nén chúng:

for old_img in [list of images]:
    convert_to_1bit_and_compress(old_img)
    remove(old_img)
    replace_with_new(old_img, new_img)

... nhưng nó thiếu một bài kiểm tra quan trọng: phiên bản mới được nén có giống hệt nội dung không?

  if raster_diff(old_img, new_img) == "Identical":
      remove(old_img)
      rename(new_img, old_img)

Có một công cụ hoặc phương pháp nào có thể tự động (dis) chứng minh nội dung của Image-A giống với nội dung của Image-B không?

Tôi có quyền truy cập ArcGIS 10.2 và QGIS, nhưng tôi cũng có thể mở hầu hết mọi thứ khác ngoài việc có thể kiểm tra tất cả các hình ảnh này bằng tay để đảm bảo tính chính xác trước khi ghi đè. Nó sẽ là khủng khiếp để convert nhầm lẫn và ghi đè lên một hình ảnh mà thực sự đã có hơn on / off các giá trị trong đó. Hầu hết chi phí hàng ngàn đô la để thu thập và tạo ra.

cập nhật: Người phạm tội lớn nhất là các phao 32 bit có phạm vi lên tới 100.000px cho một bên, vì vậy ~ 30 GB không nén.

Hãy thử chuyển đổi các raster của bạn thành các mảng numpy và sau đó kiểm tra xem liệu chúng có cùng hình dạng và các phần tử với Array_equal không . Nếu chúng giống nhau, kết quả sẽ là True:

ArcGIS:

import arcpy, numpy

raster1 = r'C:\path\to\raster.tif'
raster2 = r'C:\path\to\raster.tif'

r1 = arcpy.RasterToNumPyArray(raster1)
r2 = arcpy.RasterToNumPyArray(raster2)

d = numpy.array_equal(r1,r2)

if d == False:
    print "They differ"

else:
    print "They are the same"

Giáo dục:

import numpy
from osgeo import gdal        

raster1 = r'C:\path\to\raster.tif'
raster2 = r'C:\path\to\raster.tif'

ds1 = gdal.Open(raster1)
ds2 = gdal.Open(raster2)

r1 = numpy.array(ds1.ReadAsArray())
r2 = numpy.array(ds2.ReadAsArray())

d = numpy.array_equal(r1,r2)

if d == False:
    print "They differ"

else:
    print "They are the same"

Bạn có thể dùng thử với tập lệnh gdalcompare.py http://www.gdal.org/gdalcompare.html . Mã nguồn của tập lệnh có tại http://trac.osgeo.org/gdal/browser/trunk/gdal/swig/python/scripts/gdalcompare.py và vì đây là tập lệnh python nên dễ dàng loại bỏ các tập lệnh không cần thiết kiểm tra và thêm những cái mới cho phù hợp với nhu cầu hiện tại của bạn. Kịch bản dường như thực hiện so sánh pixel bằng cách đọc dữ liệu hình ảnh từ hai dải hình ảnh theo băng tần và đó có lẽ là một phương pháp khá nhanh và có thể sử dụng lại.

Tôi sẽ đề nghị bạn xây dựng bảng thuộc tính raster của bạn cho mỗi hình ảnh, sau đó bạn có thể so sánh các bảng. Đây không phải là một kiểm tra hoàn chỉnh (như tính toán sự khác biệt giữa hai), nhưng xác suất hình ảnh của bạn khác với cùng các giá trị biểu đồ là rất rất nhỏ. Ngoài ra, nó cung cấp cho bạn số lượng giá trị duy nhất mà không có NoData (từ số lượng hàng trong bảng). Nếu tổng số lượng của bạn nhỏ hơn kích thước hình ảnh, bạn biết rằng bạn có pixel NoData.

Giải pháp đơn giản nhất mà tôi tìm thấy là tính toán một số thống kê tóm tắt về các trình quét và so sánh chúng. Tôi thường sử dụng độ lệch chuẩn và giá trị trung bình, mạnh mẽ cho hầu hết các thay đổi, mặc dù có thể đánh lừa chúng bằng cách cố ý thao tác dữ liệu.

mean_obj = arcpy.GetRasterProperties(input_raster, 'MEAN')
mean = float(mean_obj.getOutput(0))
if round(mean, 4) != 0.2010:
    print("raster differs from expected mean.")

std_obj = arcpy.GetRasterProperties(input_raster, 'STD')
std = float(std_obj.getOutput(0))
if round(std, 4) != 0.0161:
    print("raster differs from expected standard deviation.")

Cách dễ nhất là trừ đi một raster từ cái kia, nếu kết quả là 0, thì cả hai hình ảnh đều giống nhau. Ngoài ra, bạn có thể xem biểu đồ hoặc cốt truyện theo màu kết quả.