Tại sao có hai công thức / ký hiệu mất logistic khác nhau?

Tôi đã thấy hai loại công thức mất logistic. Chúng ta có thể dễ dàng cho thấy chúng giống hệt nhau, sự khác biệt duy nhất là định nghĩa của nhãn $y$ .

Xây dựng / ký hiệu 1, :$y \in \{0, +1\}$

$$L(y,\beta^Tx)=-y\log(p)-(1-y)\log(1-p)$$

trong đó , trong đó hàm logistic ánh xạ một số thực đến 0,1 khoảng.$p=\frac 1 {1+\exp(-\beta^Tx)}$$\beta^T x$

Xây dựng / ký hiệu 2, :$y \in \{-1, +1\}$

$$L(y,\beta^Tx)=\log(1+\exp{(-y\cdot \beta^Tx}))$$

Chọn một ký hiệu cũng giống như chọn một ngôn ngữ, có những ưu và nhược điểm để sử dụng cái này hay cái khác. Những ưu và nhược điểm của hai ký hiệu này là gì?

---

Nỗ lực của tôi để trả lời câu hỏi này là dường như cộng đồng thống kê thích ký hiệu đầu tiên và cộng đồng khoa học máy tính thích ký hiệu thứ hai.

• Ký hiệu đầu tiên có thể được giải thích bằng thuật ngữ "xác suất", vì hàm logistic biến đổi một số thực $\beta^Tx$ thành 0,1 khoảng.
• Và ký hiệu thứ hai ngắn gọn hơn và dễ so sánh hơn với mất bản lề hoặc mất 0-1.

Tôi có đúng không Bất kỳ hiểu biết khác?

Phiên bản ngắn

• Vâng
• Vâng

Phiên bản dài

Điều hay ho về mô hình toán học là nó linh hoạt. Đây thực sự là các hàm mất tương đương, nhưng chúng xuất phát từ các mô hình dữ liệu cơ bản rất khác nhau.

Công thưc 1

Ký hiệu đầu tiên xuất phát từ mô hình xác suất Bernoulli cho , được quy định theo quy ước trên { 0 , 1 } . Trong mô hình này, kết quả / nhãn / lớp / dự đoán được biểu thị bằng một biến ngẫu nhiên Y theo sau phân phối B e r n o u l l i ( p ) . Do đó khả năng của nó là: P ( Y = y | p ) = L ( p ; y ) = p $y$$\{0, 1\}$$Y$$\mathrm{Bernoulli}(p)$

$$P(Y = y\ |\ p) = \mathcal L(p; y) = p^y\ (1-p)^{1-y} = \begin{cases}1-p &y=0 \\ p &y=1 \end{cases}$$

cho . Sử dụng 0 và 1 làm các giá trị chỉ báo cho phép chúng ta giảm hàm piecewise ở phía bên phải thành biểu thức ngắn gọn.$p\in[0, 1]$

Như bạn đã chỉ ra, sau đó bạn có thể liên kết để một ma trận của dữ liệu đầu vào x bằng cách cho phép logit p = β T x . Từ đây, thao tác đại số đơn giản cho thấy log L ( p ; y ) là giống như là người đầu tiên L ( y , β T x ) trong câu hỏi của bạn (gợi ý: ( y - 1 ) = - ( 1 - y ) ). Vì vậy, giảm thiểu mất log trên { 0 $Y$$x$$\operatorname{logit} p = \beta^T x$$\log \mathcal L(p;y)$$L(y, \beta^Tx)$$(y - 1) = - (1 - y)$ tương đương với ước tính khả năng tối đa của mô hình Bernoulli.$\{0, 1\}$

Công thức này cũng là một trường hợp đặc biệt của mô hình tuyến tính tổng quát , được xây dựng như cho một khả nghịch, khả vi chức năng g và phân phối D trong gia đình mũ .$Y \sim D(\theta),\ g(Y) = \beta^T x$$g$$D$

Công thức 2

Trên thực tế .. Tôi không quen thuộc với Công thức 2. Tuy nhiên, việc xác định trên { - 1 , 1 } là tiêu chuẩn trong công thức của máy vectơ hỗ trợ . Lắp một tương ứng với SVM để tối đa hóa tối đa ( { 0 , 1 - y β T x } ) + λ ‖ β ‖ 2$y$$\{-1, 1\}$

$$\max \left(\{0, 1 - y \beta^T x \}\right) + \lambda \|\beta\|^2.$$

Đây là hình thức Lagrangian của một vấn đề tối ưu hóa bị ràng buộc. Đó là cũng là một ví dụ về một regularized bài toán tối ưu với hàm mục tiêu Đối với một số chức năng mất ℓ và hyperparameter vô hướng λ rằng việc kiểm soát số lượng quy tắc (hay còn gọi là "co rút") áp dụng cho β . Bản lề mất chỉ là một trong vài thả trong khả năng ℓ , mà còn bao gồm các thứ hai L ( y , β T

$$\ell(y, \beta) + \lambda \|\beta\|^2$$ $\ell$$\lambda$$\beta$$\ell$ trong câu hỏi của bạn.$L(y, \beta^Tx)$

Tôi nghĩ rằng @ssdecontrol đã có một câu trả lời rất hay. Tôi chỉ muốn thêm một số ý kiến ​​cho công thức 2 cho câu hỏi của riêng tôi.

$$L(y,\hat y)=\log(1+\exp{(-y\cdot \hat y}))$$

Lý do mọi người thích công thức này là nó rất ngắn gọn và nó loại bỏ "chi tiết giải thích xác suất".

$\hat y$$y$$\hat y$

$$L_{01}(y,\hat y)=I[y \cdot \hat y >0]\\ L_{\text{hinge}}(y,\hat y)=(1-y \cdot \hat y)_+\\ L_{\text{logistic}}(y,\hat y)=\log(1+\exp(-y \cdot \hat y))$$

$y \cdot \hat y$$\hat y$$\beta^Tx$