Xu hướng ước tính khả năng tối đa cho hồi quy logistic

Tôi muốn hiểu một vài thực tế về các công cụ ước tính khả năng tối đa (MLE) cho các hồi quy logistic.

Có đúng là, nói chung, MLE cho hồi quy logistic là sai lệch? Tôi sẽ nói có". Tôi biết, ví dụ, kích thước mẫu đó có liên quan đến sai lệch tiệm cận của MLE.

Bạn có biết bất kỳ ví dụ cơ bản của hiện tượng này?
Nếu MLE bị sai lệch, có đúng là ma trận hiệp phương sai của MLE là nghịch đảo của Hessian của hàm khả năng tối đa không?

chỉnh sửa : Tôi đã gặp công thức này khá thường xuyên và không có bất kỳ bằng chứng nào; nó có vẻ là một lựa chọn khá độc đoán với tôi

— Avitus
nguồn

Hãy xem xét các mô hình hồi quy logistic nhị phân đơn giản, với một biến phụ thuộc nhị phân và chỉ một hằng số và một regressor nhị phân . trong đó là cdf logistic, . $T$

Pr (Y_{i} = 1 ∣ T_{i} = 1) = Λ (α + β T_{i})

$\Pr(Y_i=1\mid T_i=1) = \Lambda (\alpha + \beta T_i)$

Λ

$\Lambda$

Λ (u) = {[1 + \exp {- u}]}^{- 1}

$\Lambda(u) = \left[1+\exp\{-u\}\right]^{-1}$

Ở dạng logit, chúng ta có

\ln (\frac{Pr (Y_{i} = 1 ∣ T_{i} = 1)}{1 - Pr (Y_{i} = 1 ∣ T_{i} = 1)}) = α + β T_{i}

$\ln \left(\frac{\Pr(Y_i=1\mid T_i=1)}{1-\Pr(Y_i=1\mid T_i=1)}\right) = \alpha + \beta T_i$

Bạn có một mẫu có kích thước . Biểu thị số quan sát nơi và những nơi , và . Xem xét các xác suất có điều kiện ước tính sau đây: $n$ $n_1$ $T_i=1$ $n_0$ $T_i=0$ $n_1+n_0=n$

\hat{Pr} (Y = 1 ∣ T = 1) \equiv {\hat{P}}_{1 | 1} = \frac{1}{n_{1}} \sum_{T_{i} = 1} y_{i}

$\hat \Pr(Y=1\mid T=1)\equiv \hat P_{1|1} = \frac 1{n_1}\sum_{T_i=1}y_i$

\hat{Pr} (Y = 1 ∣ T = 0) \equiv {\hat{P}}_{1 | 0} = \frac{1}{n_{0}} \sum_{T_{i} = 0} y_{i}

$\hat \Pr(Y=1\mid T=0)\equiv \hat P_{1|0} = \frac 1{n_0}\sum_{T_i=0}y_i$

Sau đó, mô hình rất cơ bản này cung cấp các giải pháp dạng đóng cho công cụ ước tính ML:

\hat{α} = \ln (\frac{{\hat{P}}_{1 | 0}}{1 - {\hat{P}}_{1 | 0}}), \hat{β} = \ln (\frac{{\hat{P}}_{1 | 1}}{1 - {\hat{P}}_{1 | 1}}) - \ln (\frac{{\hat{P}}_{1 | 0}}{1 - {\hat{P}}_{1 | 0}})

$\hat \alpha = \ln\left(\frac{\hat P_{1|0}}{1-\hat P_{1|0}}\right),\qquad \hat \beta = \ln\left(\frac{\hat P_{1|1}}{1-\hat P_{1|1}}\right)-\ln\left(\frac{\hat P_{1|0}}{1-\hat P_{1|0}}\right)$

THIÊN KIẾN

Mặc dù và là các công cụ ước tính không thiên vị của các xác suất tương ứng, các MLE bị sai lệch, vì hàm logarit phi tuyến tính xảy ra theo cách mô phỏng những gì xảy ra với các mô hình phức tạp hơn , với mức độ phi tuyến tính cao hơn. $\hat P_{1|1}$ $\hat P_{1|0}$

Nhưng không có triệu chứng, sự thiên vị biến mất vì các ước tính xác suất là phù hợp. Chèn trực tiếp toán tử bên trong giá trị mong đợi và logarit, chúng ta có $\lim$

lim_{n \to \infty} E [\hat{α}] = E [\ln (lim_{n \to \infty} \frac{{\hat{P}}_{1 | 0}}{1 - {\hat{P}}_{1 | 0}})] = E [\ln (\frac{P_{1 | 0}}{1 - P_{1 | 0}})] = α

$\lim_{n\rightarrow \infty}E[\hat \alpha] = E\left[\ln\left(\lim_{n\rightarrow \infty}\frac{\hat P_{1|0}}{1-\hat P_{1|0}}\right)\right] = E\left[\ln\left(\frac{P_{1|0}}{1-P_{1|0}}\right)\right] =\alpha$

và tương tự cho . $\beta$

MATRIX VLEANCE-COVariANCE MATRIX CỦA MLE
Trong trường hợp đơn giản ở trên cung cấp các biểu thức dạng đóng cho công cụ ước tính, ít nhất về nguyên tắc, người ta có thể tiếp tục và rút ra phân phối mẫu hữu hạn chính xác của nó và sau đó tính toán ma trận hiệp phương sai mẫu hữu hạn chính xác của nó . Nhưng nói chung, MLE không có giải pháp dạng đóng. Sau đó, chúng tôi sử dụng một ước tính nhất quán của ma trận hiệp phương sai tiệm cận, thực sự (âm tính) nghịch đảo của Hessian của hàm khả năng log của mẫu, được đánh giá tại MLE. Và không có "sự lựa chọn tùy ý" nào ở đây cả, nhưng nó xuất phát từ lý thuyết tiệm cận và các đặc tính tiệm cận của MLE (tính nhất quán và tính không triệu chứng), cho chúng ta biết rằng, đối với , $\theta_0 = (\alpha, \beta)$

\sqrt{n} (\hat{θ} - θ_{0}) \to_{d} N (0, - (E [H])^{- 1})

${\sqrt n}(\hat \theta-\theta_0)\rightarrow_d N\left(0, -(E[H])^{-1}\right)$

trong đó là người Hessian. Khoảng và cho các mẫu hữu hạn (lớn), điều này dẫn chúng ta đến $H$

Var (\hat{θ}) \approx - \frac{1}{n} (E [H])^{- 1} \approx - \frac{1}{n} {(\frac{1}{n} \hat{H})}^{- 1} = - {\hat{H}}^{- 1}

$\operatorname{Var}(\hat \theta) \approx -\frac 1n(E[H])^{-1}\approx -\frac 1n\left(\frac 1n\hat H\right)^{-1}=-\hat H^{-1}$

— Alecos Papadopoulos
nguồn