mất bản lề so với ưu điểm và nhược điểm

14

Mất bản lề có thể được xác định bằng và mất bản ghi có thể được định nghĩa là $\text{max}(0, 1-y_i\mathbf{w}^T\mathbf{x}_i)$ $\text{log}(1 + \exp(-y_i\mathbf{w}^T\mathbf{x}_i))$

Tôi có những câu hỏi sau:

Có bất kỳ nhược điểm nào của việc mất bản lề (ví dụ: nhạy cảm với các ngoại lệ như được đề cập trong http://www.unc.edu/~yfliu/ con / rsvm.pdf )?
Sự khác biệt, ưu điểm, nhược điểm của cái này so với cái kia là gì?

— người dùng570593
nguồn

22

Giảm thiểu tổn thất logarit dẫn đến đầu ra xác suất được xử lý tốt.

Mất bản lề dẫn đến một số độ thưa thớt (không được bảo đảm) trên kép, nhưng nó không giúp ích cho việc ước tính xác suất. Thay vào đó, nó trừng phạt các phân loại sai (đó là lý do tại sao nó rất hữu ích để xác định tỷ suất lợi nhuận): giảm bản lề đi kèm với giảm dần trên các phân loại sai lề.

Vì vậy, tóm tắt:

Mất logarit dẫn đến ước tính xác suất tốt hơn với chi phí chính xác
Mất bản lề dẫn đến độ chính xác tốt hơn và một số độ thưa thớt với chi phí ít nhạy cảm hơn nhiều về xác suất

— Bọ lửa
nguồn

1

+1. Giảm thiểu tổn thất logistic tương ứng với tối đa hóa khả năng nhị thức. Giảm thiểu mất bình phương lỗi tương ứng với tối đa hóa khả năng Gaussian (đó chỉ là hồi quy OLS; đối với phân loại 2 lớp, nó thực sự tương đương với LDA). Bạn có biết nếu giảm thiểu mất bản lề tương ứng với tối đa hóa một số khả năng khác? Tức là có mô hình xác suất tương ứng với mất bản lề?

— amip nói phục hồi Monica

1

@amoeba Đó là một câu hỏi thú vị, nhưng SVM vốn không dựa trên mô hình thống kê. Đã nói rằng, kiểm tra câu trả lời này của Glen_b. Toàn bộ chủ đề là về nó, nhưng đối với bản lề không nhạy cảm epsilon thay thế.

— Firebug

4

@Fireorms đã có một câu trả lời tốt (+1). Trong thực tế, tôi đã có một câu hỏi tương tự ở đây.

Các tác động của việc chọn các hàm mất khác nhau trong phân loại để mất xấp xỉ 0-1

Tôi chỉ muốn thêm nhiều hơn vào một lợi thế lớn khác của mất logistic: giải thích xác suất. Một ví dụ, có thể được tìm thấy ở đây

Cụ thể, hồi quy logistic là một mô hình cổ điển trong tài liệu thống kê. (Xem, cái tên "Hồi quy logistic" nghĩa là gì? Để đặt tên.) Có nhiều khái niệm quan trọng liên quan đến mất logistic, như ước tính tối đa khả năng log, kiểm tra tỷ lệ khả năng, cũng như các giả định về nhị thức. Dưới đây là một số cuộc thảo luận liên quan.

Kiểm tra tỷ lệ khả năng trong R

Tại sao không phải là hồi quy logistic gọi là phân loại logistic?

Có giả định iid về hồi quy logistic?

Sự khác biệt giữa mô hình logit và probit

— Haitao Du
nguồn

1

Vì @ hxd1011 đã thêm một lợi thế của entropy chéo, tôi sẽ thêm một nhược điểm của nó.

Lỗi entropy chéo là một trong nhiều thước đo khoảng cách giữa các phân phối xác suất, nhưng một nhược điểm của nó là phân phối có đuôi dài có thể được mô hình hóa kém với quá nhiều trọng lượng cho các sự kiện không thể xảy ra.

— Aerin
nguồn