Mức độ phù hợp cho biểu đồ 2D

Tôi có hai bộ dữ liệu đại diện cho các tham số sao: một tham số được quan sát và một tham số được mô hình hóa. Với các bộ này, tôi tạo ra cái được gọi là sơ đồ hai màu (TCD). Một mẫu có thể được nhìn thấy ở đây:

A là dữ liệu được quan sát và B dữ liệu được trích xuất từ ​​mô hình (không bao giờ quan tâm đến các đường màu đen, các chấm thể hiện dữ liệu) Tôi chỉ có một sơ đồ A , nhưng có thể tạo ra nhiều sơ đồ B khác nhau như tôi muốn, và điều tôi cần là để giữ một trong đó phù hợp nhất một .

Vì vậy, những gì tôi cần là một cách đáng tin cậy để kiểm tra mức độ phù hợp của sơ đồ B (mô hình) với sơ đồ A (quan sát).

Ngay bây giờ những gì tôi làm là tôi tạo một biểu đồ hoặc lưới 2D (đó là cái mà tôi gọi nó, có thể nó có một tên thích hợp hơn) cho mỗi sơ đồ bằng cách ghép cả hai trục (mỗi thùng 100 cái) Sau đó tôi đi qua từng ô của lưới và tôi tìm thấy sự khác biệt tuyệt đối về số lượng giữa A và B cho ô cụ thể đó. Sau khi trải qua tất cả các ô, tôi tổng hợp các giá trị cho mỗi tế bào và vì vậy tôi kết thúc với một tham số dương duy nhất đại diện cho sự tốt lành của sự phù hợp ( ) giữa A và B . Càng gần 0, càng phù hợp. Về cơ bản, đây là những gì tham số đó trông giống như:$gf$

$gf = \sum_{ij} |a_{ij}-b_{ij}|$; nơi là số của các ngôi sao trong sơ đồ Một cho rằng tế bào cụ thể (xác định bởi ) và là số cho B . i j b i $a_{ij}$$ij$$b_{ij}$

Đây là những gì khác nhau về số lượng trong mỗi ô trông giống như trong lưới tôi tạo (lưu ý rằng tôi không sử dụng các giá trị tuyệt đối của ( a i j - b i j ) trong hình ảnh này nhưng tôi làm sử dụng chúng khi tính tham số):$(a_{ij}-b{ij})$$(a_{ij}-b{ij})$$gf$

Vấn đề là tôi đã được thông báo rằng đây có thể không phải là một công cụ ước tính tốt, chủ yếu là vì ngoài việc nói điều này phù hợp hơn so với điều này vì tham số thấp hơn , tôi thực sự không thể nói gì hơn.

Quan trọng :

(cảm ơn @PeterEllis đã đưa ra điều này)

1- Điểm trong B không liên quan một-một với điểm trong Một . Đó là một điều quan trọng cần lưu ý khi tìm kiếm phù hợp nhất: số lượng điểm trong Một và B là không nhất thiết phải giống nhau và sự tốt lành của sự phù hợp kiểm tra cũng nên giải thích cho sự khác biệt này và cố gắng giảm thiểu nó.

2- Số lượng điểm trong mỗi B tập hợp dữ liệu (mô hình đầu ra) Tôi cố gắng để phù hợp với A là không cố định.

Tôi đã thấy thử nghiệm Chi-Squared được sử dụng trong một số trường hợp:

$\sum_i (O_i-E_i)^2/E_i$$O_i$$E_i$

$E_i$$E_i$

Ngoài ra, tôi đã đọc một số người khuyên nên áp dụng thử nghiệm Poisson nhật ký trong các trường hợp như thế này khi có biểu đồ. Nếu điều này đúng, tôi thực sự đánh giá cao nếu ai đó có thể hướng dẫn tôi cách sử dụng bài kiểm tra đó cho trường hợp cụ thể này (hãy nhớ rằng kiến ​​thức về thống kê của tôi khá kém, vì vậy hãy giữ nó đơn giản như bạn có thể :)

OK, tôi đã sửa đổi rộng rãi câu trả lời này. Tôi nghĩ thay vì ghi dữ liệu của bạn và so sánh số lượng trong mỗi thùng, đề xuất tôi đã chôn trong câu trả lời ban đầu của mình về việc ước tính mật độ hạt nhân 2d và so sánh chúng là một ý tưởng tốt hơn nhiều. Thậm chí tốt hơn, có một hàm kde.test () trong gói ks của Tarn Duong dành cho R, điều này dễ như ăn bánh.

Kiểm tra tài liệu cho kde.test để biết thêm chi tiết và các đối số bạn có thể điều chỉnh. Nhưng về cơ bản, nó thực hiện khá nhiều chính xác những gì bạn muốn. Giá trị p mà nó trả về là xác suất tạo ra hai bộ dữ liệu bạn đang so sánh theo giả thuyết null rằng chúng được tạo từ cùng một phân phối. Vì vậy, giá trị p càng cao, sự phù hợp giữa A và B. càng tốt. Xem ví dụ của tôi bên dưới nơi điều này dễ dàng nhận ra rằng B1 và ​​A khác nhau, nhưng B2 và A giống nhau một cách hợp lý (đó là cách chúng được tạo ra) .

# generate some data that at least looks a bit similar
generate <- function(n, displ=1, perturb=1){
    BV <- rnorm(n, 1*displ, 0.4*perturb)
    UB <- -2*displ + BV + exp(rnorm(n,0,.3*perturb))
    data.frame(BV, UB)
}
set.seed(100)
A <- generate(300)
B1 <- generate(500, 0.9, 1.2)
B2 <- generate(100, 1, 1)
AandB <- rbind(A,B1, B2)
AandB$type <- rep(c("A", "B1", "B2"), c(300,500,100))

# plot
p <- ggplot(AandB, aes(x=BV, y=UB)) + facet_grid(~type) + 
    geom_smooth() +     scale_y_reverse() + theme_grey(9)
win.graph(7,3)
p +geom_point(size=.7)

> library(ks)
> kde.test(x1=as.matrix(A), x2=as.matrix(B1))$pvalue
[1] 2.213532e-05
> kde.test(x1=as.matrix(A), x2=as.matrix(B2))$pvalue
[1] 0.5769637

BẢN GỐC CỦA TÔI TRẢ LỜI DƯỚI ĐÂY, CHỈ CÓ VÌ VẬY BÂY GIỜ LIÊN KẾT ĐẾN NÓ TỪ ELSEWHERE MÀ KHÔNG ĐƯỢC GỬI

Đầu tiên, có thể có những cách khác để đi về điều này.

Justel et al đã đưa ra một phần mở rộng đa biến của bài kiểm tra Kolmogorov-Smirnov về mức độ phù hợp mà tôi nghĩ có thể được sử dụng trong trường hợp của bạn, để kiểm tra xem mỗi bộ dữ liệu được mô hình hóa phù hợp với bản gốc như thế nào. Tôi không thể tìm thấy việc thực hiện điều này (ví dụ như trong R) nhưng có lẽ tôi đã không nhìn đủ cứng.

Ngoài ra, có thể có một cách để làm điều này bằng cách lắp một copula cho cả dữ liệu gốc và cho từng bộ dữ liệu được mô hình hóa, sau đó so sánh các mô hình đó. Có những triển khai của phương pháp này ở R và những nơi khác nhưng tôi không quen thuộc lắm với chúng nên chưa thử.

Nhưng để giải quyết câu hỏi của bạn trực tiếp, cách tiếp cận bạn đã thực hiện là một cách hợp lý. Một số điểm gợi ý bản thân:

• Trừ khi tập dữ liệu của bạn lớn hơn vẻ ngoài của tôi, tôi nghĩ lưới 100 x 100 là quá nhiều thùng. Theo trực giác, tôi có thể tưởng tượng bạn kết luận các bộ dữ liệu khác nhau nhiều hơn so với chúng chỉ vì độ chính xác của thùng của bạn có nghĩa là bạn có rất nhiều thùng với số lượng điểm thấp, ngay cả khi mật độ dữ liệu cao. Tuy nhiên điều này cuối cùng là một vấn đề của sự phán xét. Tôi chắc chắn sẽ kiểm tra kết quả của bạn với các cách tiếp cận khác nhau để tạo thùng.

• Khi bạn đã thực hiện việc đóng thùng của mình và bạn đã chuyển đổi dữ liệu của mình thành (có hiệu lực) một bảng đếm dự phòng với hai cột và số hàng bằng số thùng (10.000 trong trường hợp của bạn), bạn có một vấn đề tiêu chuẩn là so sánh hai cột số lượng. Một bài kiểm tra Chi bình phương hoặc phù hợp với một số loại mô hình Poisson sẽ hoạt động nhưng như bạn nói có sự lúng túng vì số lượng lớn các số không. Một trong hai mô hình đó thường phù hợp bằng cách giảm thiểu tổng bình phương của sự khác biệt, được tính bằng tỷ lệ nghịch với số lượng đếm dự kiến; khi điều này tiến đến 0 nó có thể gây ra vấn đề.

Chỉnh sửa - phần còn lại của câu trả lời này bây giờ tôi không còn tin là một cách tiếp cận phù hợp.

$n_g\times 2$

$n_g \times 2$$n_g$

Tôi đã mô phỏng một số dữ liệu trông hơi giống dữ liệu của bạn và thấy rằng phương pháp này khá hiệu quả trong việc xác định bộ dữ liệu "B" nào của tôi được tạo từ cùng một quy trình như "A" và hơi khác nhau. Chắc chắn hiệu quả hơn mắt thường.

• $n_g \times 2$một vấn đề nếu bạn chỉ sử dụng tổng của sự khác biệt tuyệt đối hoặc khác biệt bình phương, như bạn đề xuất ban đầu). Tuy nhiên, vấn đề là mỗi phiên bản B của bạn có số điểm khác nhau. Về cơ bản, các tập dữ liệu B lớn hơn sẽ có xu hướng trả về giá trị p thấp hơn. Tôi có thể nghĩ ra một số giải pháp có thể cho vấn đề này. 1. Bạn có thể giảm tất cả các bộ dữ liệu B của mình xuống cùng một kích thước (kích thước nhỏ nhất trong các bộ B của bạn), bằng cách lấy một mẫu ngẫu nhiên có kích thước đó từ tất cả các bộ B lớn hơn kích thước đó. 2. Trước tiên, bạn có thể điều chỉnh ước tính mật độ hạt nhân hai chiều cho mỗi bộ B của mình và sau đó mô phỏng dữ liệu từ ước tính đó có kích thước bằng nhau. 3. bạn có thể sử dụng một số loại mô phỏng để tìm ra mối quan hệ của giá trị p với kích thước và sử dụng nó để "sửa" các giá trị p bạn nhận được từ quy trình trên để chúng có thể so sánh được. Có lẽ có những lựa chọn thay thế khác quá. Cái nào bạn làm sẽ phụ thuộc vào cách dữ liệu B được tạo ra, kích thước khác nhau như thế nào, v.v.

Mong rằng sẽ giúp.