Giải thích các hệ số hồi quy logistic với một thuật ngữ chính quy

Tôi hiểu các hệ số của một phương trình logistic có thể được hiểu là tỷ lệ lẻ. Nếu một thuật ngữ chính quy được thêm vào để kiểm soát sự phù hợp quá mức, làm thế nào điều này thay đổi việc giải thích các hệ số?

Các hệ số được trả về tiêu chuẩn phù hợp với hồi quy logistic không phải là tỷ lệ cược. Chúng đại diện cho sự thay đổi trong tỷ lệ cược log của 'thành công' liên quan đến thay đổi một đơn vị trong biến tương ứng của chúng, khi tất cả các tỷ lệ khác được giữ bằng nhau. Nếu bạn lũy thừa một hệ số, thì bạn có thể hiểu kết quả là tỷ lệ chênh lệch (tất nhiên, điều này không đúng với đánh chặn). Thông tin thêm về điều này có thể được tìm thấy trong câu trả lời của tôi ở đây: Giải thích các dự đoán đơn giản cho tỷ lệ cược trong hồi quy logistic .

Thêm một hình phạt cho sự phù hợp với mô hình sẽ (có khả năng) thay đổi giá trị phù hợp của các hệ số ước tính, nhưng nó không thay đổi cách giải thích các hệ số theo nghĩa được thảo luận trong câu hỏi của bạn / ở trên. *

* (Tôi tự hỏi liệu sự nhầm lẫn về tuyên bố này có phải là nguồn gốc của downvote gần đây không.) Để rõ ràng hơn: Hệ số được trang bị trên , thể hiện sự thay đổi về tỷ lệ thành công của nhật ký liên quan đến thay đổi 1 đơn vị trong nếu không có thời hạn phạt được sử dụng để phù hợp với mô hình và nếu thời hạn phạt được sử dụng để phù hợp với mô hình. Trong cả hai trường hợp, đó là tỷ lệ cược. Tuy nhiên, là tỷ lệ chênh lệch liên quan đến thay đổi 1 đơn vị trong , một lần nữa bất kể liệu thuật ngữ phạt có được sử dụng để phù hợp với mô hình hay không. Một mô hình được trang bị một điều khoản phạt có thể được diễn giải trong khuôn khổ Bayes, nhưng không nhất thiết phải như vậy. Hơn nữa, ngay cả khi đó là,$X_1$$\hat\beta_1$$X_1$$\exp(\hat\beta_1)$$X_1$$\hat\beta_1$vẫn thể hiện sự thay đổi về tỷ lệ cược thành công liên quan đến thay đổi 1 đơn vị trong không phải là tỷ lệ cược. $X_1$

Hồi quy tuyến tính thường xuyên và hồi quy logistic thường xuyên có thể được giải thích độc đáo theo quan điểm Bayes. Tham số chính quy tương ứng với lựa chọn phân phối trước trên các trọng số, ví dụ, một cái gì đó giống như phân phối bình thường tập trung ở mức 0 với độ lệch chuẩn được đưa ra bởi nghịch đảo của tham số chính quy. Sau đó thông qua dữ liệu đào tạo của bạn, các phân phối này được cập nhật để cuối cùng cung cấp cho bạn các phân phối sau về trọng lượng.

Vì vậy, ví dụ, một tham số chính quy hóa lớn hơn có nghĩa là, trước đó, chúng tôi nghĩ rằng các trọng số phải gần bằng 0 hơn, do đó với thiết lập này, ít có khả năng các phân phối sau sẽ được hỗ trợ ở xa 0 - đồng ý với trực giác của những gì chính quy hóa là "phải làm".

Đối với hầu hết các triển khai hồi quy chính quy, đầu ra cuối cùng của các trọng số chỉ là giá trị dự kiến ​​của các phân phối sau.

Nhân tiện, về cơ bản, hồi quy không đều có thể được hiểu theo cùng một cách: đó là giới hạn khi tham số chính quy hóa về không.