Khi nào hồi quy logistic được giải quyết ở dạng đóng?

Lấy $x \in \{0,1\}^d$ và và giả sử chúng ta mô hình hóa nhiệm vụ dự đoán y đã cho x bằng cách sử dụng hồi quy logistic. Khi nào hệ số hồi quy logistic có thể được viết ở dạng đóng?$y \in \{0,1\}$

Một ví dụ là khi chúng ta sử dụng mô hình bão hòa.

Nghĩa là, xác định , trong đó lập chỉ mục cho tập hợp sức mạnh của và trả về 1 nếu tất cả các biến trong tập thứ là 1 và 0 khác. Sau đó, bạn có thể biểu thị mỗi trong mô hình hồi quy logistic này dưới dạng logarit của hàm thống kê thống kê dữ liệu.$P(y|x) \propto \exp(\sum_i w_i f_i(x_i))$$i$$\{x_1,\ldots,x_d\}$$f_i$$i$$w_i$

Có những ví dụ thú vị khác khi hình thức đóng tồn tại?

Như kjetil b halvorsen đã chỉ ra, theo cách riêng của nó, một phép lạ mà hồi quy tuyến tính thừa nhận một giải pháp phân tích. Và điều này là như vậy chỉ nhờ vào tính tuyến tính của vấn đề (đối với các tham số). Trong OLS, bạn có trong đó có các điều kiện đặt hàng đầu tiên - 2 Σ i ( y i - x ' i β ) x i = 0 Đối với một vấn đề với

$$\sum_i (y_i - x_i' \beta)^2 \to \min_\beta,$$ $$-2 \sum_i (y_i - x_i'\beta) x_i = 0$$ $p$biến (bao gồm cả cố định, nếu cần thiết, có một số hồi quy thông qua những vấn đề nguồn gốc, quá), đây là một hệ thống với phương trình và p ẩn số. Quan trọng nhất, nó là một hệ thống tuyến tính, vì vậy bạn có thể tìm ra giải pháp bằng cách sử dụng lý thuyết và thực hành đại số tuyến tính tiêu chuẩn . Hệ thống này sẽ có giải pháp với xác suất 1 trừ khi bạn có các biến cộng tuyến hoàn hảo.$p$$p$

Bây giờ, với hồi quy logistic, mọi thứ không còn dễ dàng nữa. Viết hàm khả năng đăng nhập, và lấy đạo hàm của nó để tìm ra MLE, chúng tôi nhận ∂

$$l(y;x,\beta) = \sum_i y_i \ln p_i + (1-y_i) \ln(1-p_i), \quad p_i = (1+\exp(-\theta_i))^{-1}, \quad \theta_i = x_i' \beta,$$ Các tham sốβnhập giá trị này theo cách rất phi tuyến: với mỗii, có một hàm phi tuyến và chúng được thêm vào với nhau. Không có giải pháp phân tích (trừ có lẽ trong một tình huống không đáng kể với hai quan sát, hoặc một cái gì đó như thế), và bạn phải sử dụngcác phương pháp tối ưu hóa phi tuyếnđể tìm ra ước tính beta . $$\frac{\partial l}{\partial \beta'} = \sum_i \frac{{\rm d}p_i}{{\rm d}\theta}\Bigl( \frac{y_i}{p_i} - \frac{1-y_i}{1-p_i} \Bigr)x_i = \sum_i \Bigl[y_i-\frac1{1+\exp(x_i'\beta)}\Bigr]x_i$$ $\beta$$i$$\hat\beta$

${\rm Prob}[Y_i=1|x_i'\beta > c] = 1$$c$, tức là bạn có một dự đoán hoàn hảo. Đây là một tạo tác khá khó chịu: bạn sẽ nghĩ rằng khi bạn có một dự đoán hoàn hảo, mô hình hoạt động hoàn hảo, nhưng đủ tò mò, đó là cách khác.

Bài viết này ban đầu được dự định là một bình luận dài hơn là một câu trả lời hoàn chỉnh cho câu hỏi trong tầm tay.

Từ câu hỏi, có một chút không rõ ràng nếu lợi ích chỉ nằm trong trường hợp nhị phân hoặc, có lẽ, trong các trường hợp tổng quát hơn khi chúng có thể liên tục hoặc đảm nhận các giá trị rời rạc khác.

$$\mathrm{logit}( \Pr(Y_{ij} = 1) ) = \alpha_i - \alpha_j ,$$ $\alpha_i$$i$$Y_{ij} = 1$$i$$j$

$(i,j)$$\hat{\alpha}_i$$S_i = \sum_{j \neq i} Y_{ij}$

Để giải thích điều này, hãy tưởng tượng một giải đấu vòng tròn đầy đủ trong môn thể thao cạnh tranh yêu thích của bạn. Sau đó, kết quả này nói rằng mô hình Bradley trinh Terry xếp hạng các cầu thủ / đội theo tỷ lệ chiến thắng của họ. Cho dù đây là một kết quả đáng khích lệ hay đáng thất vọng tùy thuộc vào quan điểm của bạn, tôi cho rằng.

NB Kết quả sắp xếp thứ hạng này không giữ được, nói chung, khi một vòng tròn đầy đủ không được chơi.