Một số lý do lặp đi lặp lại bình phương tối thiểu sẽ không hội tụ khi được sử dụng cho hồi quy logistic là gì?

8

Tôi đã sử dụng hàm glm.fit trong R để khớp các tham số với mô hình hồi quy logistic. Theo mặc định, glm.fit sử dụng các bình phương tối thiểu lặp lại để phù hợp với các tham số. Một số lý do thuật toán này sẽ không hội tụ, khi được sử dụng cho hồi quy logistic là gì?

— Jessica
nguồn

2

Tôi không biết cách đánh giá "phổ biến nhất", vì những gì phổ biến cho những người làm việc trong một lĩnh vực có thể không phổ biến cho một khu vực khác. [Một lý do (nhiều khả năng có thể) có thể là sự tách biệt hoàn toàn - trong đó dọc theo một số tổ hợp dự đoán tuyến tính, tất cả các số 0 đều ở trên hoặc dưới tất cả các số 1. Đôi khi bạn có thể thấy khi điều đó xảy ra vì ít nhất một tham số sẽ có xu hướng hướng về vô cực.]

— Glen_b -Reinstate Monica

@Glen_b: Cảm ơn bình luận của bạn, tôi sẽ thay đổi nó thành "một số lý do."

— Jessica

14

Trong trường hợp hai lớp có thể tách rời, các ô vuông nhỏ nhất lặp lại (IRLS) sẽ bị phá vỡ. Trong một kịch bản như vậy, bất kỳ siêu phẳng nào tách hai lớp là một giải pháp và có vô số trong số chúng. IRLS có nghĩa là để tìm một giải pháp khả năng tối đa. Khả năng tối đa không có cơ chế ủng hộ bất kỳ giải pháp nào trong số các giải pháp này so với giải pháp khác (ví dụ: không có khái niệm về mức ký quỹ tối đa). Tùy thuộc vào việc khởi tạo, IRLS nên hướng tới một trong những giải pháp này và sẽ bị hỏng do các vấn đề về số (không biết chi tiết về IRLS; một phỏng đoán có giáo dục).

Một vấn đề khác phát sinh trong trường hợp phân tách tuyến tính của dữ liệu đào tạo. Bất kỳ giải pháp siêu phẳng nào cũng tương ứng với chức năng tản nhiệt. Do đó, tất cả các xác suất là 0 hoặc 1. Giải pháp hồi quy tuyến tính sẽ là phân loại cứng thay vì phân loại xác suất.

$\lim_{|\mathbf{w}| \rightarrow \infty}\sigma(\mathbf{w}^T x + b)$ $\sigma$ $(\mathbf{w}, b)$ $\mathbf{w}$

— Hạt giống
nguồn

7

Trên cùng của phân tách tuyến tính (trong đó MLE nằm ở ranh giới của không gian tham số), quy trình Ghi điểm trong R không hoàn toàn ổn định về số. Nó thực hiện các bước có kích thước cố định, trong một số trường hợp bệnh lý nhất định có thể dẫn đến không hội tụ (khi MLE thực sự thực sự là một điểm bên trong).

Ví dụ,

y <- c(1,1,1,0)
x <- rep(1,4)
fit1 <- glm.fit(x,y, family=binomial(link="logit"),start=-1.81)

$2 \times 10^{15}$ $(3/4) \approx 1.0986$

Gói CRAN glm2 cung cấp một sự thay thế thả vào để glm.fitđiều chỉnh kích thước bước để đảm bảo sự hội tụ đơn điệu.

— Andrew M
nguồn