Tác động của ranh giới bin dựa trên dữ liệu đối với độ tốt chi bình phương của kiểm tra sự phù hợp?

Bỏ qua vấn đề rõ ràng về sức mạnh thấp của bình phương trong tình huống này, hãy tưởng tượng thực hiện kiểm tra chi bình phương cho một số mật độ với các tham số không xác định, bằng cách tạo dữ liệu.

Để cụ thể, giả sử một phân phối theo cấp số nhân với giá trị trung bình chưa biết và cỡ mẫu là 100.

Để có được số lượng quan sát dự kiến hợp lý cho mỗi thùng, một số tài khoản sẽ cần được lấy dữ liệu (ví dụ: nếu chúng tôi chọn đặt 6 thùng bên dưới giá trị trung bình và 4 trên mức đó, thì vẫn sẽ sử dụng ranh giới bin dựa trên dữ liệu) .

Nhưng việc sử dụng thùng này dựa trên việc xem dữ liệu có lẽ sẽ ảnh hưởng đến việc phân phối thống kê kiểm tra theo giá trị rỗng.

Tôi đã thấy nhiều cuộc thảo luận về thực tế rằng - nếu các tham số được ước tính theo khả năng tối đa từ dữ liệu đã bị đánh cắp - bạn sẽ mất 1 df cho mỗi tham số ước tính (một vấn đề có ngay từ thời Fisher vs Karl Pearson) - nhưng tôi không nhớ lại đọc bất cứ điều gì về việc tự tìm ranh giới bin dựa trên dữ liệu. (Nếu bạn ước tính chúng từ dữ liệu chưa được xử lý, thì với thùng, phân phối thống kê kiểm tra nằm ở đâu đó giữa a và .) $k$ $\chi^2_{k}$ $\chi^2_{k-p}$

Sự lựa chọn thùng dựa trên dữ liệu này có ảnh hưởng đáng kể đến mức độ quan trọng hoặc sức mạnh không? Có một số cách tiếp cận quan trọng hơn những cách khác? Nếu có nhiều ảnh hưởng, nó có phải là thứ gì đó biến mất trong các mẫu lớn?

Nếu nó có tác động đáng kể, điều này dường như sẽ sử dụng kiểm tra chi bình phương khi các tham số không rõ gần như vô dụng trong nhiều trường hợp (mặc dù vẫn được ủng hộ trong một vài văn bản), trừ khi bạn có một ước tính -priori của tham số.

Thảo luận về các vấn đề hoặc con trỏ đến tài liệu tham khảo (tốt nhất là đề cập đến kết luận của họ) sẽ hữu ích.

Chỉnh sửa, khá nhiều cho một câu hỏi chính:

Tôi nhận thấy rằng có những giải pháp tiềm năng cho trường hợp cụ thể của cấp số nhân * (và đồng phục nghĩ về nó), nhưng tôi vẫn quan tâm đến vấn đề chung hơn về việc chọn ranh giới bin.

* Ví dụ: đối với số mũ, người ta có thể sử dụng quan sát nhỏ nhất (giả sử nó bằng ) để có được một ý tưởng rất sơ bộ về nơi đặt các thùng (vì quan sát nhỏ nhất là theo cấp số nhân với trung bình $m$ $\mu/n$ ) và sau đó kiểm tra khác biệt ( ) về hàm mũ. Tất nhiên điều đó có thể mang lại ước tính rất kém , và do đó lựa chọn thùng kém, mặc dù tôi cho rằng người ta có thể sử dụng đối số một cách đệ quy để lấy hai hoặc ba quan sát thấp nhất để chọn các thùng hợp lý và sau đó kiểm tra sự khác biệt của các quan sát còn lại trên mức lớn nhất trong số các thống kê đơn hàng nhỏ nhất theo cấp số nhân) $n-1$ $x_i - m$ $\mu$

chi-squared goodness-of-fit binning

— Glen_b -Reinstate Monica
nguồn

Câu hỏi thú vị. Tôi không biết câu trả lời, nhưng ý tưởng rằng một số mức độ tự do nên bị mất có ý nghĩa. Nếu bạn chưa nhìn thấy nó, câu trả lời của @whuber nên được kích thích bằng suy nghĩ: làm thế nào để hiểu mức độ tự do . Dường như với tôi rằng một số nghiên cứu mô phỏng sẽ cho phép bạn có được một cơ hội ở đây, ít nhất là đối với một số trường hợp cụ thể.

— gung - Tái lập Monica

Không chắc điều này hữu ích như thế nào, nhưng có một vấn đề tương tự trong lĩnh vực ước tính mạnh mẽ. Cụ thể, một phương pháp ước lượng mạnh (ví dụ: trung bình cắt) thường yêu cầu đầu vào được tham số hóa (ví dụ: tham số xác định mức độ cần cắt). Tham số này có thể được chọn bằng phương pháp dựa trên dữ liệu (ví dụ: xem mức độ béo của đuôi trước khi chọn tham số cắt). Nhưng việc chọn trước tham số cắt xén sẽ ảnh hưởng đến việc phân phối giá trị trung bình đã cắt, so với, quy tắc tham số cố định. Cách thông thường mà nó được xử lý trong tài liệu đó là thông qua bootstrap.

— Colin T Bowers

@ColinTBowers - có khả năng phần nào hữu ích, cảm ơn. Không nghĩ về khả năng bootstrapping.

— Glen_b -Reinstate Monica

Nó có thể thú vị để chia vấn đề thành một trường hợp đơn giản nhất. Hãy tưởng tượng một cái gì đó giống như chỉ 5 quan sát từ phân phối yêu thích của bạn và đặt một bộ chia duy nhất trong dữ liệu để tạo thành chỉ hai thùng.

— zkurtz

Câu trả lời:

Các kết quả cơ bản của kiểm tra mức độ phù hợp chi bình phương có thể được hiểu theo cấp bậc .

Cấp 0 . Chi-square test thống kê Pearson cổ điển dành cho thử nghiệm một mẫu đa thức chống lại một vector khả năng cố định là $p$ trong đó biểu thị số lượng kết quả trongô thứ trong một mẫu có kích thước . Điều này có thể có hiệu quả được xem như là tiêu chuẩn bình phương của vector nơi

X^{2} (p) = \sum_{i = 1}^{k} \frac{(X_{i}^{(n)} - n p_{i})^{2}}{n p_{i}} \overset{d}{\to} χ_{k - 1}^{2},

$X^2(p) = \sum_{i=1}^k \frac{(X^{(n)}_i - n p_i)^2}{n p_i} \stackrel{d}{\to} \chi_{k-1}^2 \>,$

X_{i}^{(n)}

$X_i^{(n)}$

i

$i$

n

$n$

Y_{n} = (Y_{1}^{(n)}, \dots, Y_{k}^{(n)})

$\mathbf Y_n = (Y_1^{(n)},\ldots,Y_k^{(n)})$

đó, do hội tụ định lý giới hạn trung tâm đa biến trong phân phối như

Y_{i}^{(n)} = (X_{i}^{(n)} - n p_{i}) / \sqrt{n p_{i}}

$Y_i^{(n)} = (X_i^{(n)} - n p_i)/\sqrt{n p_i}$

Từ đó chúng ta thấy rằng

từ

Y_{n} \overset{d}{\to} N (0, I - \sqrt{p} {\sqrt{p}}^{T}) .

$\mathbf Y_n \stackrel{d}{\to} \mathcal N(0, \mathbf I - \sqrt{p}\sqrt{p}^T) \>.$

X^{2} = ‖ Y_{n} ‖^{2} \to χ_{k - 1}^{2}

$X^2 = \|\mathbf Y_n\|^2 \to \chi^2_{k-1}$

là idempotent của cấp

I - \sqrt{p} {\sqrt{p}}^{T}

$\mathbf I - \sqrt{p}\sqrt{p}^T$

k - 1

$k-1$

$p$ $m$ $p_i$

X_{1}^{2} = \sum_{i = 1}^{k} \frac{(X_{i}^{(n)} - n {\hat{p}}_{i})^{2}}{n {\hat{p}}_{i}} \overset{d}{\to} χ_{k - m - 1}^{2},

$X^2_1 = \sum_{i=1}^k \frac{(X^{(n)}_i - n \hat{p}_i)^2}{n \hat{p}_i} \stackrel{d}{\to} \chi_{k-m - 1}^2 \>,$

$\lambda$ $k$

$m$ $m = 1$

X_{2}^{2} = \sum_{i = 1}^{k} \frac{(X_{i}^{(n)} - n {\hat{p}}_{i})^{2}}{n {\hat{p}}_{i}} \overset{d}{\to} χ_{k - m - 1}^{2},

$X^2_2 = \sum_{i=1}^k \frac{(X^{(n)}_i - n \hat{p}_i)^2}{n \hat{p}_i} \stackrel{d}{\to} \chi_{k-m - 1}^2 \>,$

{\hat{p}}_{i}

$\hat{p}_i$

$Z_1,\ldots,Z_n \sim F_\lambda$ $\lambda$ $\chi_{k-m-1}^2$ $\chi_{k-1}^2$

$\mathbf Y_n$ $\mathcal N(0, \mathbf I - \sqrt{p_\lambda}\sqrt{p_\lambda}^T - \mathbf A(\lambda))$

$\lambda$ $\mathbf A(\lambda)$

$\mathbf Y_n$ $\mathbf B(\hat{\lambda})$

Y_{n}^{T} B^{T} B Y_{n} \overset{d}{\to} χ_{k - 1}^{2},

$\mathbf Y_n^T \mathbf B^T \mathbf B \mathbf Y_n \stackrel{d}{\to} \chi_{k-1}^2 \>,$

k

$k$

Ví dụ như thống kê Raoifer Robson, Nikulin và thống kê Dzhaparidze trên Nikulin .

$k$ $1/k$ $\hat{I}_j = \hat \mu + \hat\sigma I_{0,j}$ $I_{0,j} = [F^{-1}((j-1)/k), F^{-1}(j/k))$

Người giới thiệu

A W. van der Vaart (1998), Thống kê tiệm cận , Nhà xuất bản Đại học Cambridge. Chương 17 : Xét nghiệm Chi-Square .
$\chi^2$
FC Drost (1989), Các thử nghiệm về độ phù hợp chi bình phương tổng quát cho các mô hình quy mô vị trí khi số lượng các lớp có xu hướng vô cùng , Ann. Stat , tập. 17, không. 3, 1285 Từ1300.
MS Nikulin, MS (1973), phép thử Chi bình phương để phân phối liên tục với các tham số thay đổi và tỷ lệ , Lý thuyết xác suất và ứng dụng của nó , tập. 19, không. 3, 559 bóng568.
KO Dzaparidze và MS Nikulin (1973), Về việc sửa đổi số liệu thống kê tiêu chuẩn của Pearson , Lý thuyết xác suất và ứng dụng của nó , tập. 19, không. 4, 851 Ảo853.
KC Rao và DS Robson (1974), Một thống kê chi bình phương cho sự tốt đẹp của các bài kiểm tra phù hợp trong gia đình hàm mũ , Comm. Thống kê. , tập 3., không. 12, 1139 Vang1153.
N. Balakrishnan, V. Voinov và MS Nikulin (2013), Chi-Squared Goodness of Fit Tests with Application , Academy Press.

— hồng y
nguồn

Tôi đã tìm thấy ít nhất một phần câu trả lời cho câu hỏi của tôi, bên dưới. (Tôi vẫn muốn tặng ai đó phần thưởng đó, vì vậy mọi thông tin khác đều được đánh giá cao.)

$\chi^2_{k-p-1}$ $p$ $\chi^2_1$ $k$ $p$ $\chi^2_{k-p}$ $\chi^2_{k}$ $p$

Người giới thiệu

Moore DS (1971), Thống kê Chi-Square với Ranh giới tế bào ngẫu nhiên , Ann. Môn Toán. Thống kê , Tập 42, Số 1, 147 Đích.

$\chi^2$

— Glen_b -Reinstate Monica
nguồn