Lựa chọn mô hình với hồi quy logistic Firth

Trong một tập dữ liệu nhỏ ( ) mà tôi đang làm việc, một số biến cho tôi dự đoán / phân tách hoàn hảo . Do đó, tôi sử dụng hồi quy logistic Firth để giải quyết vấn đề. $n\sim100$

Nếu tôi chọn mô hình tốt nhất theo AIC hoặc BIC , tôi có nên bao gồm thời hạn phạt Firth trong khả năng tính toán các tiêu chí thông tin này không?

— StasK
nguồn

Bạn có phiền giải thích lý do tại sao điều đó là không thể tránh khỏi, vì lựa chọn biến không giúp ích gì cho vấn đề "quá nhiều biến, quá ít mẫu"?

— Frank Mitchell

Điều đó là xấu như nó được.

— Frank Mitchell

Bạn đã xem xét điều trị này là một vấn đề suy luận Bayes? Hồi quy logistic Firth tương đương với MAP với jeffreys trước đó. Bạn có thể sử dụng xấp xỉ laplace hoàn toàn để đánh giá khả năng cận biên - giống như BIC được điều chỉnh (tương tự AICc)

— xác suất

@user, Bởi vì các biến như vậy thường chỉ dự đoán một số ít trường hợp và điều đó là không thể thực hiện được: xác suất thực sự cho ô đó có thể đạt gần 90% nhưng chỉ với hai trường hợp trong đó, bạn sẽ nhận được hai trường hợp 81% thời gian .

— StasK

Liên kết để tải xuống giấy K & K (1996) được tìm thấy trên Google Scholar, bemlar.ism.ac.jp/ TRANG / Refs / Refs / kitagawa1996biometrika.pdf

— Alecos Papadopoulos

$n \to \infty$

p_{y} (y) = = \int L (θ; y) π (θ) d θ

$p_y(y) = \int L(\theta; y)\pi(\theta)\mathrm{d} \theta$

\hat{θ}

$\hat{\theta}$

Như một nhận xét phụ, hồi quy Firth, nó cũng loại bỏ sự thiên vị bậc nhất trong các gia đình theo cấp số nhân.

— tin tưởng
nguồn