Tại sao bằng chứng năm 1938 của Wilks không hoạt động cho các mô hình sai chính tả?

Trong bài báo nổi tiếng năm 1938 (" Phân phối mẫu lớn về tỷ lệ khả năng kiểm tra các giả thuyết tổng hợp ", Biên niên sử Thống kê toán học, 9: 60-62), Samuel Wilks đã đưa ra phân phối tiệm cận của (tỷ lệ khả năng ghi nhật ký) đối với các giả thuyết lồng nhau, theo giả định rằng giả thuyết lớn hơn được xác định chính xác. Phân phối giới hạn là (chi bình phương) với bậc tự do, trong đó là số lượng tham số trong giả thuyết lớn hơn và $2 \times LLR$ $\chi^2$ $h-m$ $h$ $m$ là số lượng tham số miễn phí trong giả thuyết lồng nhau. Tuy nhiên, điều được cho là nổi tiếng là kết quả này không giữ được khi các giả thuyết bị sai lệch (nghĩa là khi giả thuyết lớn hơn không phải là phân phối thực sự cho dữ liệu được lấy mẫu).

Bất cứ ai có thể giải thích tại sao? Dường như với tôi rằng bằng chứng của Wilks vẫn nên hoạt động với những sửa đổi nhỏ. Nó dựa vào tính quy phạm tiệm cận của ước tính khả năng tối đa (MLE), vẫn còn giữ với các mô hình sai chính tả. Sự khác biệt duy nhất là ma trận hiệp phương sai của bình thường đa biến giới hạn: đối với các mô hình được chỉ định chính xác, chúng ta có thể xấp xỉ ma trận hiệp phương sai với ma trận thông tin Fisher nghịch đảo , với sai chính tả, chúng ta có thể sử dụng ước lượng sandwich của ma trận hiệp phương sai ( ). Cái sau giảm xuống nghịch đảo của ma trận thông tin Fisher khi mô hình được chỉ định chính xác (vì $J^{-1}$ $J^{-1} K J^{-1}$ $J = K$ ). AFAICT, bằng chứng Wilks không quan tâm đến việc ước tính ma trận hiệp phương sai xuất phát từ đâu, miễn là chúng ta có một ma trận hiệp phương sai tiệm cận không thể đảo ngược của MLEs thông thường cho các MLE ( trong bài báo Wilks). $c^{-1}$

— ratsalad
nguồn

Khi mô hình lớn hơn là đúng nhưng sai mô hình phụ, sự phân bố tiệm cận không phải là

nữa (trong mô hình tuyến tính với các lỗi Gaussian, ví dụ, chúng ta có được những điều thích chính xác noncentral-F phân phối để phân phối tiệm cận nên một cái gì đó giống như nc-

Tôi đang đoán). Vậy tại sao chúng ta lại mong đợi nó là

khi cả mô hình lớn hơn và mô hình nhỏ hơn đều sai? Chính xác thì giả thuyết null ở đây bắt đầu bằng gì?

χ^{2}

$\chi^2$

χ^{2}

$\chi^2$

χ^{2}

$\chi^2$

— anh chàng

Trong giả thuyết null được chỉ định chính xác, cả hai mô hình đều "đúng", nhưng mô hình lồng nhau có

tham số cố định tại các giá trị thực. Trong giả thuyết null sai chính tả, cả hai mô hình đều "sai", nhưng mô hình lồng nhau có

tham số cố định tại các giá trị giả ngẫu nhiên. ("Giá trị giả" là giá trị tiệm cận của tham số giúp giảm thiểu khoảng cách Kullback - Liebler giữa mô hình sai chính tả và mô hình thực). Vì vậy, ví dụ của bạn về phi tập trung-F không liên quan, vì đó là phân phối khi giả thuyết null ở đây là sai.

m

$m$

m

$m$

— ratsalad

Xin lỗi, tôi nên nói rằng giả thuyết lồng nhau có các tham số

cố định ở các giá trị thực.

h - m

$h-m$

— ratsalad

Theo hiểu biết của tôi, một mô hình null sai chính tả có thể bị sai chính tả theo nhiều cách. Ví dụ: phân phối sai của phần dư, dữ liệu có độ không đồng nhất, các hiệu ứng không phải là phụ gia, v.v. Tuy nhiên, tôi đồng ý rằng nếu ít nhất một trong các tham số

"được kiểm tra" được cố định ở giá trị sai (ví dụ: giá trị giả) , đó là một ví dụ về mô hình null được chỉ định không chính xác.

h - m

$h - m$

— RCorty

Câu trả lời:

RV Foutz và RC Srivastava đã kiểm tra vấn đề một cách chi tiết. Bài báo năm 1977 của họ "Hiệu suất của kiểm tra tỷ lệ khả năng khi mô hình không chính xác" chứa một tuyên bố về kết quả phân phối trong trường hợp sai chính tả cùng với một bản phác thảo rất ngắn gọn về bằng chứng, trong khi bài báo năm 1978 của họ "Phân phối tiệm cận của tỷ lệ khả năng khi mô hình không chính xác " chứa bằng chứng -nhưng cái sau được gõ theo kiểu nhà văn kiểu cũ (cả hai bài viết đều sử dụng cùng một ký hiệu, vì vậy bạn có thể kết hợp chúng trong khi đọc). Ngoài ra, đối với một số bước của bằng chứng, họ đề cập đến một bài báo của KP Roy "Một lưu ý về phân phối tỷ lệ khả năng không có triệu chứng" từ năm 1957 dường như không có sẵn trên mạng, thậm chí là có kiểm soát.

Trong trường hợp sai chính tả phân phối, nếu MLE vẫn nhất quán và bình thường không có triệu chứng ( không phải luôn luôn như vậy), thống kê LR theo một cách bất hợp lý một sự kết hợp tuyến tính của các bình phương độc lập (mỗi một mức độ tự do)

- 2 \ln λ \overset{d}{\to} Σ_{tôi = = 1}^{r} c_{tôi} χ_{tôi}^{2}

$-2\ln \lambda \xrightarrow{d} \sum_{i=1}^{r}c_i\mathcal \chi^2_i$

trong đó . Người ta có thể thấy "sự tương đồng": thay vì một hình vuông chi tiết với bậc tự do, chúng ta có chi bình phương mỗi hình vuông có một bậc tự do. Nhưng "sự tương tự" dừng lại ở đó, bởi vì sự kết hợp tuyến tính của chi bình phương không có mật độ dạng đóng. Mỗi bình phương tỷ lệ là một gamma, nhưng với một tham số khác nhau dẫn đến một tham số tỷ lệ khác nhau cho gamma - và tổng các gamma đó không phải là dạng đóng, mặc dù có thể tính được các giá trị của nó. $r=h-m$ $h-m$ $h-m$ $c_i$

Đối với hằng, chúng tôi có , và họ là những giá trị riêng của ma trận ... mà ma trận? Chà, bằng cách sử dụng ký hiệu tác giả, đặt là Hessian của khả năng đăng nhập và là sản phẩm bên ngoài của độ dốc của khả năng đăng nhập (theo thuật ngữ dự đoán). Vì vậy, là ma trận hiệp phương sai sai-tiệm cận của MLE. $c_i$ $c_1 \geq c_2\geq ...c_r \geq0$ $\Lambda$ $C$ $V = \Lambda^{-1} C (\Lambda')^{-1}$

Sau đó thiết lập là khối thượng tầng đường chéo của . $M$ $r \times r$ $V$

Cũng viết ở dạng khối $\Lambda$

Λ = [\begin{matrix} Λ_{r \times r} & Λ_{2}^{'} \\ Λ_{2} & Λ_{3} \end{matrix}]

$\Lambda =\left [\begin {matrix} \Lambda_{r\times r} & \Lambda_2'\\ \Lambda_2 & \Lambda_3\\ \end{matrix}\right]$

và bộ ( là tiêu cực của Schur Complement của ). $W = -\Lambda_{r\times r}+\Lambda_2'\Lambda_3^{-1}\Lambda_2$ $W$ $\Lambda$

Thì là giá trị riêng của ma trận đánh giá ở giá trị thực của các tham số. $c_i$ $MW$

ĐỊA CHỈ
Trả lời nhận xét hợp lệ của OP trong các bình luận (đôi khi, thực sự, các câu hỏi trở thành bàn đạp để chia sẻ một kết quả chung hơn và bản thân chúng có thể bị bỏ qua trong quá trình này), đây là cách tiến hành bằng chứng của Wilks: Wilks bắt đầu với khớp phân phối bình thường của MLE và tiến hành rút ra biểu thức chức năng của Tỷ lệ khả năng. Lên đến và bao gồm cả eq của mình. , bằng chứng có thể tiến lên ngay cả khi chúng ta giả sử rằng chúng ta có lỗi chính tả phân phối: như OP lưu ý, các điều khoản của ma trận hiệp phương sai sẽ khác nhau trong kịch bản sai chính tả, nhưng tất cả Wilks đều lấy đạo hàm và xác định điều khoản không có triệu chứng không đáng kể. Và vì vậy anh ta đến eq. $[9]$ $[9]$ trong đó chúng ta thấy rằng thống kê tỷ lệ khả năng, nếu đặc điểm kỹ thuật là chính xác, chỉ là tổng của các biến ngẫu nhiên chuẩn bình thường bình phương, và do đó chúng được phân phối dưới dạng một bình phương với bậc tự do : (ký hiệu chung ) $h-m$ $h-m$

- 2 \ln λ = \sum_{i = 1}^{h - m} {(\sqrt{n} \frac{{\hat{θ}}_{i} - θ_{i}}{σ_{i}})}^{2} \overset{d}{\to} χ_{h - m}^{2}

$-2\ln \lambda = \sum_{i=1}^{h-m}\left(\sqrt n\frac{\hat \theta_i - \theta_i}{\sigma_i}\right)^2 \xrightarrow{d} \mathcal \chi^2_{h-m}$

Nhưng nếu chúng ta có thông số sai lệch, sau đó các điều khoản được sử dụng để mở rộng quy mô các MLE trung và phóng đại không còn các điều khoản đó sẽ làm cho các phương sai của mỗi phần tử bằng để thống nhất, và do đó thay đổi mỗi hạn vào một rv bình thường tiêu chuẩn và số tiền vào một chi-vuông. Và chúng thì không, bởi vì các thuật ngữ này liên quan đến cácgiá trị dự kiếncủa các dẫn xuất thứ hai của khả năng đăng nhập ... nhưng giá trị mong đợi chỉ có thể được thực hiện đối với phân phối thực sự, vì MLE là một chức năng của dữ liệu và dữ liệu tuân theo phân phối thực, trong khi các dẫn xuất thứ hai của khả năng đăng nhập được tính dựa trên giả định mật độ sai. $\sqrt n(\hat \theta -\theta)$

So under misspecification we have something like

- 2 \ln λ = \sum_{i = 1}^{h - m} {(\sqrt{n} \frac{{\hat{θ}}_{i} - θ_{i}}{a_{i}})}^{2}

$-2\ln \lambda = \sum_{i=1}^{h-m}\left(\sqrt n\frac{\hat \theta_i - \theta_i}{a_i}\right)^2$ and the best we can do is to manipulate it into

- 2 \ln λ = \sum_{i = 1}^{h - m} \frac{σ_{i}^{2}}{a_{i}^{2}} {(\sqrt{n} \frac{{\hat{θ}}_{i} - θ_{i}}{σ_{i}})}^{2} = \sum_{i = 1}^{h - m} \frac{σ_{i}^{2}}{a_{i}^{2}} χ_{1}^{2}

$-2\ln \lambda = \sum_{i=1}^{h-m}\frac {\sigma_i^2}{a_i^2}\left(\sqrt n\frac{\hat \theta_i - \theta_i}{\sigma_i}\right)^2 = \sum_{i=1}^{h-m}\frac {\sigma_i^2}{a_i^2}\mathcal \chi^2_1$

which is a sum of scaled chi-square r.v.'s, no longer distributed as one chi-square r.v. with $h-m$ degrees of freedom. The reference provided by the OP is indeed a very clear exposition of this more general case that includes Wilks' result as a special case.

— Alecos Papadopoulos
nguồn

So, this is just a restatement of the standard result when the model is misspecified. This result has been derived and re-derived many times. The clearest and most illuminating derivation I have seen is from Kent 1982 "Robust Properties of Likelihood Ratio Tests" (Biometrika 69:19). However, you did not answer my question. My question was specifically about Wilks 1938 proof, and why it fails.

— ratsalad

Wilks' 1938 proof doesn't work because Wilks used $J^{-1}$ As the asymptotic covariance matrix in his proof. $J^{-1}$ is the inverse of the Hessian of the negative log likelihood rather than the sandwich estimator $J^{-1} K J^{-1}$ . Wilks references the $ij$ th element of $J$ as $c_{ij}$ in his proof. By making the assumption that $J^{-1}KJ^{-1} = J^{-1}$ Wilks (1938) is assuming that $K=J$ holds which is the Fisher Information Matrix equality. If the probability model is correctly specified then $K=J$ . So one interpretation of the assumption by Wilks is that he is assuming the stronger assumption that the probability model is correctly specified.

— RMG
nguồn