Trực giác đằng sau hồi quy logistic

Gần đây tôi bắt đầu học máy học, tuy nhiên tôi đã không nắm bắt được trực giác đằng sau hồi quy logistic .

Sau đây là những sự thật về hồi quy logistic mà tôi hiểu.

1. Là cơ sở cho giả thuyết, chúng tôi sử dụng chức năng sigmoid . Tôi hiểu tại sao đó là một lựa chọn chính xác, tuy nhiên tại sao đó là lựa chọn duy nhất tôi không hiểu. Giả thuyết đại diện cho xác suất đầu ra thích hợp là , do đó miền của hàm của chúng ta phải là , đây là thuộc tính duy nhất của hàm sigmoid tôi thấy hữu ích và phù hợp ở đây, tuy nhiên nhiều hàm thỏa mãn tính chất này. Ngoài ra, hàm sigmoid có đạo hàm ở dạng này , nhưng tôi không thấy tiện ích của dạng đặc biệt này trong hồi quy logistic.[ 0 , 1 ] f ( x ) ( 1 - f ( x ) $1$$[0,1]$$f(x)(1-f(x))$

   Câu hỏi : có gì đặc biệt về chức năng sigmoid và tại sao chúng ta không thể sử dụng bất kỳ chức năng nào khác với miền ?$[0,1]$

2. Hàm chi phí bao gồm hai tham số nếu nếu . Tương tự như trên, tôi hiểu tại sao nó đúng, tuy nhiên tại sao nó chỉ là hình thức duy nhất? Ví dụ: tại sao không thểlà một lựa chọn tốt cho các chức năng chi phí?y = 1 , C o s t ( h θ ( x ) , y ) = - log ( 1 - h θ ( x ) ) y = ${\rm Cost}(h_{\theta}(x),y)=-\log(h_{\theta}(x))$$y=1, {\rm Cost}(h_{\theta}(x),y)=-\log(1-h_{\theta}(x))$$y=0$$|h_{\theta(x)}-y|$

   Câu hỏi : có gì đặc biệt về hình thức hàm chi phí ở trên; Tại sao chúng ta không thể sử dụng một hình thức khác?

Tôi sẽ đánh giá cao nếu bạn có thể chia sẻ sự hiểu biết của bạn về hồi quy logistic.

Mô hình hồi quy logistic là khả năng tối đa sử dụng tham số tự nhiên (tỷ lệ chênh lệch log) để tương phản với những thay đổi tương đối trong rủi ro về kết quả trên mỗi đơn vị chênh lệch trong dự đoán. Tất nhiên, đây là giả định một mô hình xác suất nhị thức cho kết quả. Điều đó có nghĩa là các tính chất nhất quán và mạnh mẽ của hồi quy logistic mở rộng trực tiếp từ khả năng tối đa: mạnh mẽ đến thiếu dữ liệu ngẫu nhiên, tính nhất quán của root-n, và sự tồn tại và tính duy nhất của các giải pháp để ước lượng phương trình. Điều này giả sử các giải pháp không nằm trên ranh giới của không gian tham số (trong đó tỷ lệ chênh lệch log là ). Vì hồi quy logistic là khả năng tối đa, nên hàm mất có liên quan đến khả năng, vì chúng là các vấn đề tối ưu hóa tương đương.$\pm \infty$

Với khả năng chuẩn hóa hoặc ước lượng các phương trình (suy luận bán đảo), sự tồn tại, các tính chất duy nhất vẫn giữ nhưng giả định rằng mô hình trung bình giữ không liên quan và các lỗi suy luận và tiêu chuẩn là nhất quán bất kể lỗi chính tả mô hình. Vì vậy, trong trường hợp này, vấn đề không phải là sigmoid có phải là chức năng chính xác hay không, mà là một xu hướng mà chúng ta có thể tin tưởng và được tham số hóa bằng các tham số có thể giải thích mở rộng.

Sigmoid, tuy nhiên, không phải là chức năng mô hình nhị phân duy nhất như vậy xung quanh. Hàm probit tương phản phổ biến nhất có tính chất tương tự. Nó không ước tính tỷ lệ tỷ lệ cược log, nhưng về mặt chức năng, chúng trông rất giống nhau và có xu hướng đưa ra các xấp xỉ rất giống với cùng một điều chính xác . Người ta không cần sử dụng các thuộc tính ràng buộc trong hàm mô hình trung bình. Chỉ cần sử dụng đường cong log với hàm phương sai nhị thức sẽ đưa ra hồi quy rủi ro tương đối, một liên kết nhận dạng với phương sai nhị thức đưa ra các mô hình rủi ro phụ gia. Tất cả điều này được xác định bởi người dùng. Đáng buồn là sự hồi quy logistic là, đáng buồn thay, tại sao nó lại được sử dụng phổ biến như vậy. Tuy nhiên, tôi có lý do của mình (những lý do mà tôi đã nêu) tại sao tôi nghĩ rằng nó hợp lý cho việc sử dụng nó trong hầu hết các trường hợp mô hình kết quả nhị phân.

Trong thế giới suy luận, đối với các kết quả hiếm gặp, tỷ lệ chênh lệch có thể được hiểu một cách đại khái là "rủi ro tương đối", nghĩa là "phần trăm thay đổi tương đối trong rủi ro so sánh kết quả so với X + 1 với X". Điều này không phải lúc nào cũng đúng và nói chung, tỷ lệ chênh lệch không thể và không nên diễn giải như vậy. Tuy nhiên, các tham số đó có diễn giải và có thể dễ dàng truyền đạt cho các nhà nghiên cứu khác là một điểm quan trọng, một điều đáng buồn thiếu từ các tài liệu giáo khoa của người học máy.

Mô hình hồi quy logistic cũng cung cấp nền tảng khái niệm cho các cách tiếp cận phức tạp hơn như mô hình phân cấp, cũng như mô hình hỗn hợp và các phương pháp khả năng có điều kiện phù hợp và mạnh mẽ để tăng số lượng các tham số phiền toái theo cấp số nhân. GLMM và hồi quy logistic có điều kiện là những khái niệm rất quan trọng trong thống kê chiều cao.

Một cách để suy nghĩ về hồi quy logistic là mô hình đáp ứng ngưỡng. Trong các mô hình này, bạn có một biến phụ thuộc nhị phân, , mà bị ảnh hưởng bởi các giá trị của một vector của các biến độc lập X . Biến phụ thuộc Y chỉ có thể đưa vào các giá trị 0 và 1, nên bạn không thể mô hình sự phụ thuộc của Y trên X với một phương trình hồi quy tuyến tính điển hình như Y i = X i β + ε i . Nhưng chúng tôi thực sự, thực sự thích phương trình tuyến tính. Hoặc, ít nhất, tôi làm.$Y$$X$$Y$$Y$$X$$Y_i=X_i\beta+\epsilon_i$

Để mô hình tình huống này, chúng tôi giới thiệu một quan sát được, biến tiềm ẩn , và chúng ta nói rằng Y đi từ bằng từ 0 đến bằng 1 khi Y * vượt qua một ngưỡng: Y * $Y^*$$Y$$Y^*$ Như tôi đã viết, ngưỡng là 0. Tuy nhiên, đây chỉ là ảo ảnh. Nói chung, mô hình bao gồm một phần chặn (tức là một trong các cột củaXlà cột 1s). Điều này cho phép ngưỡng là bất cứ điều gì.

$Y^*$$X$$Y$$Y^*$

$\beta$$\epsilon$$F$$P\{Y_i=1\}=F(X_i\beta)$

$P\{Y_i=1\}=1-F(-X_i\beta)$.

Now, the distribution function you pick for $\epsilon$ affects your estimation results. The two most common choices for $F$ are normal (yielding the probit model) and logistic (yielding the logit model). These two distributions are so similar that there are rarely important differences in the results between them. Since logit has a very convenient closed form for both cdf and density functions, it's usually easier to use it rather than probit.

Again, just as you say, you could pick any distribution function for $F$ and which one you pick will affect your results.