Mức độ tự do của trong bài kiểm tra Hosmer-Lemeshow

Thống kê thử nghiệm cho thử nghiệm Hosmer-Lemeshow (HLT) về mức độ phù hợp (GOF) của mô hình hồi quy logistic được định nghĩa như sau:

Sau đó, mẫu được chia thành deciles, , mỗi decile sẽ tính các đại lượng sau:$d=10$$D_1, D_2, \dots , D_{d}$

• $O_{1d}=\displaystyle \sum_{i \in D_d} y_i$ , tức là số trường hợp dương được quan sát thấy trong decile ;$D_d$
• $O_{0d}=\displaystyle \sum_{i \in D_d} (1-y_i)$ , tức là số lượng các trường hợp tiêu cực được quan sát thấy trong decile ;$D_d$
• $E_{1d}=\displaystyle \sum_{i \in D_d} \hat{\pi}_i$ , tức là số trường hợp dương tính ước tính trong decile $D_d$ ;
• $E_{0d}= \displaystyle \sum_{i \in D_d} (1-\hat{\pi}_i)$ , tức là số trường hợp âm tính ước tính trong decile $D_d$ ;

trong đó là kết quả nhị phân quan sát được cho lần quan sát thứ và xác suất ước tính cho quan sát đó.$y_i$π$i$$\hat{\pi}_i$

Sau đó, thống kê kiểm tra được xác định là:

$X^2 = \displaystyle \sum_{h=0}^{1} \sum_{g=1}^d \left( \frac{(O_{hg}-E_{hg})^2}{E_{hg}} \right)= \sum_{g=1}^d \left( \frac{ O_{1g} - n_g \hat{\pi}_g}{\sqrt{n_g (1-\hat{\pi}_g) \hat{\pi}_g}} \right)^2,$

trong đó $\hat{\pi}_g$ là xác suất ước tính trung bình theo decile $g$ và $n_g$ là số lượng công ty trong decile.

Theo Hosmer-Lemeshow (xem liên kết này ) thống kê này có (theo một số giả định nhất định) phân phối \ chi ^ 2 với (d-2) bậc tự do . $\chi^2$$(d-2)$

Mặt khác , nếu tôi định nghĩa một bảng dự phòng với các hàng $d$ (tương ứng với các decile) và 2 cột (tương ứng với kết quả nhị phân đúng / sai) thì thống kê kiểm tra cho phép thử $\chi^2$ cho bảng dự phòng này sẽ giống như $X^2$ được xác định ở trên, tuy nhiên, trong trường hợp của bảng dự phòng, thống kê kiểm tra này là $\chi^2$ với $(d-1)(2-1)=d-1$ độ tự do . Vì vậy, một mức độ tự do hơn !

Làm thế nào người ta có thể giải thích sự khác biệt này về số lượng tự do?

EDIT: bổ sung sau khi đọc bình luận:

@ ai

Họ nói (xem Hosmer DW, Lemeshow S. (1980), Một thử nghiệm tính phù hợp cho mô hình hồi quy logistic nhiều. Truyền thông trong Thống kê, A10, 1043-1069 ) rằng có một định lý được Moore và Spruill chứng minh từ đó theo sau, nếu (1) các tham số được ước tính bằng cách sử dụng các hàm khả năng cho dữ liệu chưa được nhóm và (2) tần số trong bảng 2xg phụ thuộc vào các tham số ước tính, cụ thể là các ô là ngẫu nhiên, không cố định, sau đó, trong các điều kiện đều đặn phù hợp mức độ phù hợp của thống kê phù hợp theo (1) và (2) là một bình phương chi trung tâm với mức độ tự do thông thường do các tham số ước tính cộng với một tổng các biến chi bình phương có trọng số.

Sau đó, nếu tôi hiểu rõ về bài viết của họ, họ cố gắng tìm một xấp xỉ cho 'thuật ngữ điều chỉnh' này, nếu tôi hiểu rõ, đó là tổng các biến ngẫu nhiên chi bình phương, và họ thực hiện điều này bằng cách mô phỏng, nhưng tôi phải thừa nhận rằng tôi không hiểu đầy đủ những gì họ nói ở đó, do đó câu hỏi của tôi; Tại sao các tế bào này ngẫu nhiên, làm thế nào mà ảnh hưởng đến mức độ tự do? Sẽ khác nếu tôi sửa đường viền của các ô và sau đó tôi phân loại các quan sát trong các ô cố định dựa trên điểm số ước tính, trong trường hợp đó các ô không phải là ngẫu nhiên, mặc dù 'nội dung' của ô là gì?

@Frank Harell: không phải đó là 'những thiếu sót' của bài kiểm tra Hosmer-Lemeshow mà bạn đề cập trong các bình luận của bạn dưới đây, có phải là hệ quả của sự gần đúng của tổng bình phương có trọng số không?

Hosmer DW, Lemeshow S. (1980), Một thử nghiệm tính phù hợp cho mô hình hồi quy logistic nhiều. Truyền thông trong Thống kê, A10, 1043-1069 cho thấy:

Nếu mô hình là mô hình hồi quy logistic và các tham số được ước tính theo khả năng tối đa và các nhóm được xác định dựa trên xác suất ước tính thì có nghĩa là có triệu chứng (Hosmer, Lemeshow, 1980, p.1052, Định lý 2).G X 2 χ 2 ( G - p - 1 ) + Σ p + 1 i = 1 λ i χ 2 i ( 1 $p$$G$$X^2$$\chi^2(G-p-1)+\sum_{i=1}^{p+1} \lambda_i \chi_i^2(1)$

(Lưu ý: các điều kiện cần thiết không được nêu rõ trong Định lý 2 trên trang 1052 nhưng nếu một người chăm chú đọc bài báo và bằng chứng thì những điều này sẽ bật lên)

Thuật ngữ thứ hai từ thực tế là việc phân nhóm dựa trên số lượng ước tính - tức là ngẫu nhiên (Hosmer, Lemeshow, 1980, p. 1051)$\sum_{i=1}^{p+1} \lambda_i \chi_i^2(1)$

Sử dụng mô phỏng, họ đã chỉ ra rằng thuật ngữ thứ hai có thể (trong các trường hợp được sử dụng trong mô phỏng) xấp xỉ bằng một (Hosmer, Lemeshow, 1980, p.1060)$\chi^2(p-1)$

Kết hợp hai sự kiện này dẫn đến tổng hai biến , một biến có bậc tự do và biến thứ hai có bậc tự do hoặc G - p - $\chi^2$$G-p-1$$p-1$$X^2 \sim \chi^2(G-p-1+p-1=G-2)$

Vì vậy, câu trả lời cho câu hỏi nằm ở sự xuất hiện của 'thuật ngữ chi bình phương có trọng số' hoặc trong thực tế là các nhóm được xác định bằng cách sử dụng các xác suất ước tính mà chính chúng là các biến ngẫu nhiên.

Xem thêm Bài viết của Hosmer Lemeshow (1980) - Định lý 2

Định lý mà bạn đề cập (phần giảm thông thường "giảm mức độ tự do thông thường do các tham số ước tính") chủ yếu được RA Fisher ủng hộ. Trong phần 'Giải thích về Quảng trường Chi từ các Bảng dự phòng và Tính toán P' (1922), ông lập luận sử dụng quy tắc và trong 'Mức độ phù hợp của các công thức hồi quy' ( 1922), ông lập luận để giảm mức độ tự do bằng số lượng tham số được sử dụng trong hồi quy để thu được các giá trị mong đợi từ dữ liệu. (Thật thú vị khi lưu ý rằng mọi người đã sử dụng sai bài kiểm tra chi bình phương, với mức độ tự do sai, trong hơn hai mươi năm kể từ khi được giới thiệu vào năm 1900)$(R-1) * (C-1)$

Trường hợp của bạn thuộc loại thứ hai (hồi quy) chứ không phải loại trước (bảng dự phòng) mặc dù hai trường hợp này có liên quan ở chỗ chúng là các hạn chế tuyến tính đối với các tham số.

Vì bạn mô hình hóa các giá trị dự kiến, dựa trên các giá trị được quan sát của bạn và bạn thực hiện điều này với một mô hình có hai tham số, mức giảm tự do 'thông thường' là hai cộng một (thêm một vì O_i cần tổng hợp tổng cộng, đó là một hạn chế tuyến tính khác, và bạn kết thúc hiệu quả bằng việc giảm hai, thay vì ba, vì 'hiệu quả' của các giá trị dự kiến ​​được mô hình hóa).

Kiểm tra chi bình phương sử dụng làm thước đo khoảng cách để biểu thị mức độ gần với kết quả với dữ liệu dự kiến. Trong nhiều phiên bản của phép thử chi bình phương, phân phối 'khoảng cách' này có liên quan đến tổng độ lệch trong các biến phân phối bình thường (chỉ đúng trong giới hạn và là xấp xỉ nếu bạn xử lý dữ liệu phân phối không bình thường) .$\chi^2$

Đối với phân phối chuẩn nhiều biến, hàm mật độ có liên quan đến bởi$\chi^2$

$f(x_1,...,x_k) = \frac{e^{- \frac{1}{2}\chi^2} }{\sqrt{(2\pi)^k \vert \mathbf{\Sigma}\vert}}$

với là định thức của ma trận hiệp phương sai của$\vert \mathbf{\Sigma}\vert$$\mathbf{x}$

và là mahalanobis khoảng cách giảm xuống khoảng cách Euclidian nếu .Σ = $\chi^2 = (\mathbf{x}-\mathbf{\mu})^T \mathbf{\Sigma}^{-1}(\mathbf{x}-\mathbf{\mu})$$\mathbf{\Sigma}=\mathbf{I}$

Trong bài viết năm 1900, Pearson đã lập luận rằng -levels là các nhân vật anh hùng và anh ta có thể biến đổi thành tọa độ hình cầu để tích hợp một giá trị như . Mà trở thành một tích phân duy nhất. P ( χ 2 > một $\chi^2$$P(\chi^2 > a)$

Đây là biểu diễn hình học, như một khoảng cách và cũng là một thuật ngữ trong hàm mật độ, có thể giúp hiểu được việc giảm mức độ tự do khi có các hạn chế tuyến tính.$\chi^2$

Đầu tiên là trường hợp của bảng dự phòng 2x2 . Bạn nên lưu ý rằng bốn giá trị không phải là bốn biến phân phối bình thường độc lập. Thay vào đó, chúng có liên quan với nhau và biến thành một biến duy nhất.$\frac{O_i-E_i}{E_i}$

Cho phép sử dụng bảng

$O_{ij} = \begin{array}{cc} o_{11} & o_{12} \\ o_{21} & o_{22} \end{array}$

sau đó nếu các giá trị mong đợi

$E_{ij} = \begin{array}{cc} e_{11} & e_{12} \\ e_{21} & e_{22} \end{array}$

trong đó cố định thì sẽ được phân phối dưới dạng phân phối chi bình phương với bốn bậc tự do nhưng chúng tôi thường ước tính dựa trên và biến thể không giống như bốn biến độc lập. Thay vào đó, chúng ta nhận thấy rằng tất cả sự khác biệt giữa và là như nhau$\sum \frac{o_{ij}-e_{ij}}{e_{ij}}$$e_{ij}$$o_{ij}$$o$$e$

$\begin{array}\\&(o_{11}-e_{11}) &=\\ &(o_{22}-e_{22}) &=\\ -&(o_{21}-e_{21}) &=\\ -&(o_{12}-e_{12}) &= o_{11} - \frac{(o_{11}+o_{12})(o_{11}+o_{21})}{(o_{11}+o_{12}+o_{21}+o_{22})} \end{array}$

và chúng thực sự là một biến duy nhất chứ không phải bốn. Về mặt hình học, bạn có thể thấy đây là giá trị không được tích hợp trên hình cầu bốn chiều mà trên một dòng.$\chi^2$

Lưu ý rằng thử nghiệm bảng dự phòng này không phải là trường hợp của bảng dự phòng trong thử nghiệm Hosmer-Lemeshow (nó sử dụng một giả thuyết null khác!). Xem thêm phần 2.1 'trường hợp khi và được biết đến' trong bài viết của Hosmer và Lemshow. Trong trường hợp của họ, bạn nhận được 2g-1 độ tự do chứ không phải g-1 độ tự do như trong quy tắc (R-1) (C-1). Quy tắc (R-1) (C-1) này là trường hợp cụ thể cho giả thuyết null cho rằng các biến hàng và cột là độc lập (tạo ra các ràng buộc R + C-1 trên các giá trị ). Thử nghiệm Hosmer-Lemeshow liên quan đến giả thuyết rằng các ô được điền theo xác suất của mô hình hồi quy logistic dựa trên$\beta_0$$\underline\beta$$o_i-e_i$$four$tham số trong trường hợp giả định phân phối A và tham số trong trường hợp giả định phân phối B.$p+1$

Thứ hai trường hợp hồi quy. Hồi quy thực hiện một cái gì đó tương tự như sự khác biệt như bảng dự phòng và làm giảm tính chiều của biến thể. Có một biểu diễn hình học đẹp cho điều này vì giá trị có thể được biểu diễn dưới dạng tổng của một thuật ngữ mô hình và một thuật ngữ còn lại (không phải lỗi) . Các thuật ngữ mô hình và thuật ngữ còn lại mỗi đại diện cho một không gian thứ nguyên vuông góc với nhau. Điều đó có nghĩa là các điều khoản còn lại không thể nhận bất kỳ giá trị có thể nào! Cụ thể, chúng được giảm bởi phần dự án trên mô hình và cụ thể hơn là 1 chiều cho mỗi tham số trong mô hình.$o-e$$y_i$$\beta x_i$$\epsilon_i$$\epsilon_i$

Có lẽ những hình ảnh sau đây có thể giúp một chút

Dưới đây là 400 lần ba biến số (không tương quan) từ các phân phối nhị thức . Chúng liên quan đến các biến phân phối bình thường . Trong cùng một hình ảnh, chúng ta vẽ bề mặt iso cho . Tích hợp trên không gian này bằng cách sử dụng tọa độ hình cầu sao cho chúng ta chỉ cần tích hợp duy nhất (vì thay đổi góc không thay đổi mật độ), kết quả là trong trong đó phần đại diện cho diện tích của hình cầu d chiều. Nếu chúng ta sẽ giới hạn các biến$B(n=60,p={1/6,2/6,3/6})$$N(\mu=n*p,\sigma^2=n*p*(1-p))$$\chi^2={1,2,6}$$\chi$$\int_0^a e^{-\frac{1}{2} \chi^2 }\chi^{d-1} d\chi$$\chi^{d-1}$$\chi$ theo một cách nào đó, sự tích hợp sẽ không nằm trên một hình cầu chiều mà là một thứ gì đó có chiều thấp hơn.

Hình ảnh dưới đây có thể được sử dụng để có được ý tưởng về việc giảm kích thước trong các điều khoản còn lại. Nó giải thích phương pháp phù hợp bình phương tối thiểu trong thuật ngữ hình học.

Trong màu xanh bạn có số đo. Trong màu đỏ bạn có những gì mô hình cho phép. Phép đo thường không chính xác bằng mô hình và có một số sai lệch. Bạn có thể coi điều này, về mặt hình học, là khoảng cách từ điểm đo đến bề mặt màu đỏ.

Mũi tên đỏ và có các giá trị và và có thể liên quan đến một số mô hình tuyến tính như lỗi x = a + b * z + hoặc$mu_1$$mu_2$$(1,1,1)$$(0,1,2)$

$\begin{bmatrix}x_{1}\\x_{2}\\x_{3}\end{bmatrix} = a \begin{bmatrix}1\\1\\1\end{bmatrix} + b \begin{bmatrix}0\\1\\2\end{bmatrix} + \begin{bmatrix}\epsilon_1\\\epsilon_2\\\epsilon_3\end{bmatrix}$

vì vậy khoảng của hai vectơ đó và (mặt phẳng màu đỏ) là các giá trị cho có thể có trong mô hình hồi quy và là một vectơ có sự khác biệt giữa giá trị quan sát và giá trị hồi quy / mô hình hóa. Trong phương pháp bình phương tối thiểu, vectơ này vuông góc (khoảng cách nhỏ nhất là tổng bình phương nhỏ nhất) với bề mặt màu đỏ (và giá trị mô hình là hình chiếu của giá trị quan sát lên bề mặt màu đỏ).$(1,1,1)$$(0,1,2)$$x$$\epsilon$

Vì vậy, sự khác biệt giữa quan sát và (được mô hình hóa) dự kiến ​​là tổng các vectơ vuông góc với vectơ mô hình (và không gian này có kích thước của tổng không gian trừ đi số lượng vectơ mô hình).

Trong trường hợp ví dụ đơn giản của chúng tôi. Tổng kích thước là 3. Mô hình có 2 chiều. Và lỗi có thứ nguyên 1 (vì vậy cho dù bạn lấy điểm xanh nào trong số đó, mũi tên màu xanh lá cây hiển thị một ví dụ duy nhất, các thuật ngữ lỗi luôn có cùng tỷ lệ, theo một vectơ duy nhất).

Tôi hy vọng giải thích này sẽ giúp. Đây không phải là một bằng chứng nghiêm ngặt và có một số thủ thuật đại số đặc biệt cần được giải quyết trong các biểu diễn hình học này. Nhưng dù sao tôi cũng thích hai biểu diễn hình học này. Một mẹo cho Pearson để tích hợp bằng cách sử dụng tọa độ hình cầu và cái còn lại để xem tổng phương pháp bình phương tối thiểu như một hình chiếu lên mặt phẳng (hoặc nhịp lớn hơn).$\chi^2$

Tôi luôn ngạc nhiên về cách chúng ta kết thúc với , đây là quan điểm của tôi không tầm thường vì sự gần đúng bình thường của một nhị thức không phải là một sự sai lệch của mà bởi và trong trường hợp các bảng dự phòng bạn có thể giải quyết dễ dàng nhưng trong trường hợp hồi quy hoặc các hạn chế tuyến tính khác, nó không hoạt động dễ dàng như vậy trong khi tài liệu thường rất dễ tranh luận rằng 'nó hoạt động tương tự đối với các hạn chế tuyến tính khác' . (Một ví dụ thú vị về vấn đề. Nếu bạn thực hiện bài kiểm tra sau nhiều lần 'ném 2 lần 10 lần một đồng xu và chỉ đăng ký các trường hợp trong đó tổng là 10' thì bạn không có được phân phối chi bình phương điển hình cho việc này " "hạn chế tuyến tính" đơn giản$\frac{o-e}{e}$$e$$np(1-p)$