Tại sao hồi quy logistic tạo ra các mô hình hiệu chuẩn tốt?

Tôi hiểu rằng một trong những lý do hồi quy logistic thường được sử dụng để dự đoán tỷ lệ nhấp trên web là vì nó tạo ra các mô hình được hiệu chỉnh tốt. Có một lời giải thích toán học tốt cho điều này?

regression logistic

— lsankar4033
nguồn

hồi quy logistic được thực hiện để dự đoán xác suất -> dẫn đến dự đoán được hiệu chỉnh nếu không phù hợp. trong khi hầu hết các mô hình học máy không dự đoán xác suất, mà là một lớp học - và có một số mâu thuẫn với các xác suất giả xuất phát từ các dự đoán này -> do đó lưu ý hiệu chỉnh tốt

— charles

Tôi nên đã làm rõ trong câu hỏi, nhưng câu hỏi của tôi là về lý do tại sao đó là trường hợp mà LR rất hữu ích để dự đoán xác suất.

— lsankar4033

Điều đáng chú ý là bạn có thể chỉ cần phù hợp với hồi quy logistic với đầu ra của bộ phân loại hiệu chuẩn kém để có được một mô hình hiệu chuẩn. Đây được gọi là Platt

— Scaleing

Câu trả lời:

Đúng.

Vectơ xác suất dự đoán từ hồi quy logistic thỏa mãn phương trình ma trận $p$

X^{t} (p - y) = 0

$X^t(p - y) = 0$

Trong đó là ma trận thiết kế và là vectơ đáp ứng. Điều này có thể được xem như là một tập hợp các phương trình tuyến tính, một phát sinh từ mỗi cột của ma trận thiết kế . $X$ $y$ $X$

Chuyên về cột chặn (là một hàng trong ma trận chuyển vị), phương trình tuyến tính liên quan là

\sum_{i} (p_{i} - y_{i}) = 0

$\sum_i( p_i - y_i) = 0$

do đó xác suất dự đoán trung bình tổng thể bằng trung bình của phản hồi.

Tổng quát hơn, đối với cột tính năng nhị phân , phương trình tuyến tính liên quan là $x_{ij}$

\sum_{i} x_{i j} (p_{i} - y_{i}) = \sum_{i ∣ x_{i j} = 1} (p_{i} - y_{i}) = 0

$\sum_i x_{ij}(p_i - y_i) = \sum_{i \mid x_{ij} = 1}(p_i - y_i) = 0$

do đó tổng (và do đó trung bình) của các xác suất dự đoán bằng tổng của phản hồi, ngay cả khi chuyên về các bản ghi mà . $x_{ij} = 1$

— Matthew Drury
nguồn

@MatthewDrury làm thế nào tôi có thể giải thích phương trình đầu tiên của bạn? là có dạng ? Tuy nhiên mối quan hệ tuyến tính này nắm giữ? Cảm ơn bạn!

p

$p$

1 / (1 + \exp (- x))

$1/(1+\exp(-x))$

— Ric

Có, p là hình thức đó. Phương trình đầu tiên xuất phát từ việc thiết lập đạo hàm của hàm mất thành không.

— Matthew Drury

Điều này chỉ giải quyết hiệu chuẩn trong phạm vi lớn mà không phải là điều chúng ta muốn: hiệu chuẩn trong nhỏ.

— Frank Harrell

@FrankHarrell Chăm sóc công phu? Tôi chưa từng nghe những điều khoản đó trước đây.

— Matthew Drury

Có một lịch sử lâu dài trong các tài liệu dự báo xác suất có niên đại từ Dịch vụ thời tiết Hoa Kỳ 1950 - đó là điểm số Brier được sử dụng lần đầu tiên. Hiệu chuẩn nhỏ có nghĩa là nếu nhìn vào các rủi ro dự đoán là 0,01, 0,02, ..., 0,99, thì mỗi trường hợp này là chính xác, nghĩa là trong tất cả các lần khi rủi ro dự đoán là 0,4, kết quả xảy ra khoảng 0,4 thời gian. Tôi gọi "hiệu chuẩn trong nhỏ" là bước tiếp theo: đối với nam giới trong đó dự đoán là 0,4 là kết quả hiện tại 0,4 của thời gian, sau đó đối với nữ.

— Frank Harrell

Tôi nghĩ rằng tôi có thể cung cấp cho bạn một lời giải thích dễ hiểu như sau:

Chúng ta biết rằng hàm mất của nó có thể được biểu thị dưới dạng hàm sau: Trong đó biểu thị số lượng của tất cả các mẫu đào tạo, nhãn của mẫu thứ i, xác suất dự đoán của mẫu thứ i: . (chú ý sự thiên vị ở đây)

J (θ) = - \frac{1}{m} \sum_{i = 1}^{m} [y^{(i)} \log (h_{θ} (x^{(i)})) + (1 - y^{(i)}) \log (1 - h_{θ} (x^{(i)}))]

$J(\theta) = -\frac{1}{m}\sum_{i=1}^m \left[ y^{(i)}\log\left(h_\theta \left(x^{(i)}\right)\right) + (1 -y^{(i)})\log\left(1-h_\theta \left(x^{(i)}\right)\right)\right]$
m

y^{(i)}

$y^{(i)}$

h_{θ} (x^{(i)})

$h_{\theta}(x^{(i)})$

\frac{1}{1 + \exp [- α - \sum_{j} θ_{j} x_{j}^{(i)}]}

$\frac{1}{1+\exp[-\alpha -\sum_j \theta_j x^{(i)}_j]}$

α

$\alpha$

Vì mục tiêu của đào tạo là để giảm thiểu chức năng mất, chúng ta hãy đánh giá đạo hàm riêng của nó đối với từng tham số (có thể tìm thấy đạo hàm chi tiết ở đây ): Và đặt nó thành 0 yeils: $\theta_j$

\frac{\partial J (θ)}{\partial θ_{j}} = \frac{1}{m} \sum_{i = 1}^{m} [h_{θ} (x^{(i)}) - y^{(i)}] x_{j}^{(i)}

$\frac{\partial J(\theta)}{\partial \theta_j}=\frac{1}{m}\sum_{i=1}^m\left[h_\theta\left(x^{(i)}\right)-y^{(i)}\right]\,x_j^{(i)}$

\sum_{i = 1}^{m} h_{θ} (x^{(i)}) x_{j}^{(i)} = \sum_{i = 1}^{m} y^{(i)} x_{j}^{(i)}

$\sum_{i=1}^m h_\theta\left(x^{(i)}\right)x_j^{(i)}=\sum_{i=1}^m y^{(i)}\,x_j^{(i)}$

Điều đó có nghĩa là nếu mô hình được đào tạo đầy đủ, các xác suất dự đoán mà chúng tôi nhận được cho tập huấn sẽ tự trải rộng sao cho mỗi tính năng tổng của các giá trị trọng số (tất cả) của tính năng đó bằng tổng giá trị của tính năng đó của các mẫu dương tính.

Ở trên phù hợp với mọi tính năng để thiên vị . Đặt là 1 và là yeilds: Sau đó, chúng tôi nhận được: Trong đó là xác suất dự đoán của mô hình được đào tạo đầy đủ cho mẫu thứ i. Và chúng ta có thể viết hàm theo cách rút gọn: $\alpha$ $x_0$ $\alpha$ $\theta_0$

\sum_{i = 1}^{m} h_{θ} (x^{(i)}) x_{0}^{(i)} = \sum_{i = 1}^{m} y^{(i)} x_{0}^{(i)}

$\sum_{i=1}^m h_\theta\left(x^{(i)}\right)x_0^{(i)}=\sum_{i=1}^m y^{(i)}\,x_0^{(i)}$

\sum_{i = 1}^{m} h_{θ} (x^{(i)}) = \sum_{i = 1}^{m} y^{(i)}

$\sum_{i=1}^m h_\theta\left(x^{(i)}\right)=\sum_{i=1}^m y^{(i)}$

h_{θ} (x^{(i)})

$h_\theta\left(x^{(i)}\right)$

\sum_{i = 1}^{m} p^{(i)} = \sum_{i = 1}^{m} y^{(i)}

$\sum_{i=1}^m p^{(i)} =\sum_{i=1}^m y^{(i)}$

Rõ ràng chúng ta có thể thấy rằng hồi quy logistic được hiệu chỉnh tốt.

Tham khảo: Mô hình log-linear và Trường ngẫu nhiên có điều kiện của Charles Elkan

— Zhang
nguồn