Làm thế nào để tính toán một phép đo chính xác dựa trên RMSE? Là tập dữ liệu lớn của tôi thường được phân phối?

Tôi có một vài bộ dữ liệu theo thứ tự hàng ngàn điểm. Các giá trị trong mỗi tập dữ liệu là X, Y, Z đề cập đến tọa độ trong không gian. Giá trị Z biểu thị sự khác biệt về độ cao tại cặp tọa độ (x, y).

Thông thường trong lĩnh vực GIS của tôi, lỗi độ cao được tham chiếu trong RMSE bằng cách trừ điểm thực tế vào điểm đo (điểm dữ liệu LiDAR). Thông thường, tối thiểu 20 điểm kiểm tra mặt đất được sử dụng. Sử dụng giá trị RMSE này, theo NDEP (Nguyên tắc độ cao kỹ thuật số quốc gia) và hướng dẫn của Fema, có thể tính toán độ chính xác: Độ chính xác = 1,96 * RMSE.

Độ chính xác này được nêu là: "Độ chính xác dọc cơ bản là giá trị mà độ chính xác dọc có thể được đánh giá và so sánh một cách công bằng giữa các bộ dữ liệu. Độ chính xác cơ bản được tính ở mức độ tin cậy 95% như là một hàm của RMSE dọc."

Tôi hiểu rằng 95% diện tích theo đường cong phân phối bình thường nằm trong 1,96 * std.deviation, tuy nhiên điều đó không liên quan đến RMSE.

Nói chung tôi đang hỏi câu hỏi này: Sử dụng RMSE được tính toán từ 2 bộ dữ liệu, làm cách nào tôi có thể liên kết RMSE với một số loại chính xác (ví dụ 95% điểm dữ liệu của tôi nằm trong khoảng +/- X cm)? Ngoài ra, làm cách nào để xác định xem tập dữ liệu của tôi có được phân phối bình thường bằng cách sử dụng thử nghiệm hoạt động tốt với tập dữ liệu lớn như vậy không? "Đủ tốt" cho một phân phối bình thường là gì? P <0,05 cho tất cả các xét nghiệm, hay nó phải phù hợp với hình dạng của phân phối bình thường?

Tôi tìm thấy một số thông tin rất tốt về chủ đề này trong bài báo sau:

http://paulzandbergen.com/PUBLICations_files/Zandbergen_TGIS_2008.pdf

Sử dụng RMSE được tính toán từ 2 bộ dữ liệu, làm cách nào tôi có thể liên kết RMSE với một số loại chính xác (nghĩa là 95% điểm dữ liệu của tôi nằm trong khoảng +/- X cm)?

Hãy xem một câu hỏi gần trùng lặp: Khoảng tin cậy của RMSE ?

Là tập dữ liệu lớn của tôi thường được phân phối?

Một khởi đầu tốt sẽ là quan sát sự phân phối theo kinh nghiệm của các zgiá trị. Đây là một ví dụ tái sản xuất.

set.seed(1)
z <- rnorm(2000,2,3)
z.difference <- data.frame(z=z)

library(ggplot2)

ggplot(z.difference,aes(x=z)) + 
  geom_histogram(binwidth=1,aes(y=..density..), fill="white", color="black") +
  ylab("Density") + xlab("Elevation differences (meters)") +
  theme_bw() + 
  coord_flip()

Thoạt nhìn, nó trông bình thường, phải không? (thực ra, chúng tôi biết điều đó là bình thường vì rnormlệnh chúng tôi đã sử dụng).

Nếu một người muốn phân tích các mẫu nhỏ qua tập dữ liệu thì có Kiểm tra định mức Shapiro-Wilk.

z_sample <- sample(z.difference$z,40,replace=T)
shapiro.test(z_sample) #high p-value indicates the data is normal (null hypothesis)

    Shapiro-Wilk normality test

data:  z_sample
W = 0.98618, p-value = 0.8984 #normal

Người ta cũng có thể lặp lại thử nghiệm SW nhiều lần trên các mẫu nhỏ khác nhau, và sau đó, xem xét phân phối của p-values.

Xin lưu ý rằng các kiểm tra tính quy tắc trên các bộ dữ liệu lớn không hữu ích vì nó được giải thích trong câu trả lời này được cung cấp bởi Greg Snow.

Mặt khác, với các bộ dữ liệu thực sự lớn, định lý giới hạn trung tâm đã xuất hiện và đối với các phân tích chung (hồi quy, kiểm tra t, ...) bạn thực sự không quan tâm liệu dân số có được phân phối bình thường hay không.

Nguyên tắc tốt là làm một cốt truyện qq và hỏi, điều này có đủ bình thường không?

Vì vậy, hãy tạo một cốt truyện QQ:

#qq-plot (quantiles from empirical distribution - quantiles from theoretical distribution)
mean_z <- mean(z.difference$z)
sd_z <- sd(z.difference$z)
set.seed(77)
normal <- rnorm(length(z.difference$z), mean = mean_z, sd = sd_z)

qqplot(normal, z.difference$z, xlab="Theoretical", ylab="Empirical")

Nếu các chấm được căn chỉnh trong y=xdòng thì có nghĩa là phân phối theo kinh nghiệm khớp với phân phối lý thuyết, trong trường hợp này là phân phối chuẩn.