Cách tính các lỗi tiêu chuẩn của hệ số hồi quy logistic

Tôi đang sử dụng scikit-learn của Python để đào tạo và kiểm tra hồi quy logistic.

scikit-learn trả về các hệ số hồi quy của các biến độc lập, nhưng nó không cung cấp các lỗi tiêu chuẩn của hệ số. Tôi cần các lỗi tiêu chuẩn này để tính toán thống kê Wald cho từng hệ số và lần lượt so sánh các hệ số này với nhau.

Tôi đã tìm thấy một mô tả về cách tính các lỗi tiêu chuẩn cho các hệ số của hồi quy logistic ( ở đây ), nhưng hơi khó theo dõi.

Nếu bạn tình cờ biết một lời giải thích đơn giản, ngắn gọn về cách tính các lỗi tiêu chuẩn này và / hoặc có thể cung cấp cho tôi một lỗi, tôi thực sự đánh giá cao nó! Tôi không có nghĩa là mã cụ thể (mặc dù xin vui lòng gửi bất kỳ mã nào có thể hữu ích), nhưng thay vào đó là một lời giải thích thuật toán về các bước liên quan.

Phần mềm của bạn có cung cấp cho bạn ma trận hiệp phương sai (hoặc phương sai hiệp phương sai) không? Nếu vậy, các lỗi tiêu chuẩn là căn bậc hai của đường chéo của ma trận đó. Bạn có thể muốn tham khảo sách giáo khoa (hoặc google cho ghi chú bài giảng của trường đại học) để biết cách lấy ma trận cho các mô hình tuyến tính tuyến tính và tổng quát.$V_\beta$

Các lỗi tiêu chuẩn của các hệ số mô hình là căn bậc hai của các mục chéo của ma trận hiệp phương sai. Hãy xem xét những điều sau đây:

• Ma trận thiết kế:

$\textbf{X = }\begin{bmatrix} 1 & x_{1,1} & \ldots & x_{1,p} \\ 1 & x_{2,1} & \ldots & x_{2,p} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n,1} & \ldots & x_{n,p} \end{bmatrix}$$x_{i,j}$$j$$i$

(LƯU Ý: Điều này giả sử một mô hình có đánh chặn.)

• $\textbf{V = } \begin{bmatrix} \hat{\pi}_{1}(1 - \hat{\pi}_{1}) & 0 & \ldots & 0 \\ 0 & \hat{\pi}_{2}(1 - \hat{\pi}_{2}) & \ldots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \ldots & \hat{\pi}_{n}(1 - \hat{\pi}_{n}) \end{bmatrix}$$\hat{\pi}_{i}$$i$

Ma trận hiệp phương sai có thể được viết là:

$\textbf{(X}^{T}\textbf{V}\textbf{X)}^{-1}$

Điều này có thể được thực hiện với mã sau đây:

import numpy as np
from sklearn import linear_model

# Initiate logistic regression object
logit = linear_model.LogisticRegression()

# Fit model. Let X_train = matrix of predictors, y_train = matrix of variable.
# NOTE: Do not include a column for the intercept when fitting the model.
resLogit = logit.fit(X_train, y_train)

# Calculate matrix of predicted class probabilities.
# Check resLogit.classes_ to make sure that sklearn ordered your classes as expected
predProbs = resLogit.predict_proba(X_train)

# Design matrix -- add column of 1's at the beginning of your X_train matrix
X_design = np.hstack([np.ones((X_train.shape[0], 1)), X_train])

# Initiate matrix of 0's, fill diagonal with each predicted observation's variance
V = np.diagflat(np.product(predProbs, axis=1))

# Covariance matrix
# Note that the @-operater does matrix multiplication in Python 3.5+, so if you're running
# Python 3.5+, you can replace the covLogit-line below with the more readable:
# covLogit = np.linalg.inv(X_design.T @ V @ X_design)
covLogit = np.linalg.inv(np.dot(np.dot(X_design.T, V), X_design))
print("Covariance matrix: ", covLogit)

# Standard errors
print("Standard errors: ", np.sqrt(np.diag(covLogit)))

# Wald statistic (coefficient / s.e.) ^ 2
logitParams = np.insert(resLogit.coef_, 0, resLogit.intercept_)
print("Wald statistics: ", (logitParams / np.sqrt(np.diag(covLogit))) ** 2)

Tất cả những gì đang được nói, statsmodelscó lẽ sẽ là một gói tốt hơn để sử dụng nếu bạn muốn truy cập vào rất nhiều chẩn đoán "ngoài luồng".

Nếu bạn quan tâm đến việc suy luận, thì có lẽ bạn sẽ muốn xem qua các số liệu thống kê . Lỗi tiêu chuẩn và kiểm tra thống kê phổ biến có sẵn. Đây là một ví dụ hồi quy logistic .