Tại sao hàm sigmoid tiêu chuẩn thực tế, , rất phổ biến trong mạng lưới thần kinh (không sâu) và hồi quy logistic?$\frac{1}{1+e^{-x}}$

Tại sao chúng ta không sử dụng nhiều hàm có thể tạo được khác, với thời gian tính toán nhanh hơn hoặc phân rã chậm hơn (do đó độ dốc biến mất xảy ra ít hơn). Một vài ví dụ trên Wikipedia về các hàm sigmoid . Một trong những mục yêu thích của tôi với sự phân rã chậm và tính toán nhanh là .$\frac{x}{1+|x|}$

CHỈNH SỬA

Câu hỏi khác với danh sách toàn diện các chức năng kích hoạt trong các mạng thần kinh với ưu / nhược điểm vì tôi chỉ quan tâm đến 'tại sao' và chỉ dành cho sigmoid.

Trích dẫn bản thân từ câu trả lời này cho một câu hỏi khác:

Trong phần 4.2 của Nhận dạng mẫu và Học máy (Springer 2006), Giám mục cho thấy rằng logit phát sinh một cách tự nhiên như là hình thức phân phối xác suất sau trong cách xử lý Bayes của phân loại hai lớp. Sau đó, ông tiếp tục chỉ ra rằng các đặc điểm tương tự cho các tính năng được phân phối riêng biệt, cũng như một tập hợp con của các phân phối theo cấp số nhân. Đối với phân loại nhiều lớp, logit tổng quát hóa theo hàm mũ lũy thừa hoặc hàm mềm.

Điều này giải thích tại sao sigmoid này được sử dụng trong hồi quy logistic.

Về các mạng thần kinh, bài đăng trên blog này giải thích các phi tuyến khác nhau bao gồm logit / softmax và probit được sử dụng trong các mạng thần kinh có thể được đưa ra một giải thích thống kê và do đó là một động lực. Ý tưởng cơ bản là một mạng lưới thần kinh nhiều lớp có thể được coi là một hệ thống phân cấp của các mô hình tuyến tính tổng quát; theo đó, các hàm kích hoạt là các hàm liên kết, lần lượt tương ứng với các giả định phân phối khác nhau.

Một lý do chức năng này có vẻ "tự nhiên" hơn các lý do khác là nó xảy ra là nghịch đảo của tham số chính tắc của phân phối Bernoulli: (Hàm của trong số mũ được gọi là tham số chính tắc.)

Có thể một lời biện minh hấp dẫn hơn đến từ lý thuyết thông tin, trong đó hàm sigmoid có thể được suy ra như một mô hình entropy tối đa . Nói một cách đơn giản, hàm sigmoid giả định cấu trúc tối thiểu và phản ánh trạng thái thiếu hiểu biết chung của chúng ta về mô hình cơ bản.

Tôi đã tự hỏi mình câu hỏi này trong nhiều tháng. Các câu trả lời trên CrossValidated và Quora đều liệt kê các thuộc tính đẹp của hàm sigmoid logistic, nhưng tất cả có vẻ như chúng ta đã đoán được hàm này một cách khéo léo. Những gì tôi đã bỏ lỡ là sự biện minh cho việc lựa chọn nó. Cuối cùng tôi đã tìm thấy một phần trong mục 6.2.2.2 của cuốn sách "Deep Learning" của Bengio (2016) . Theo cách riêng của tôi:

Nói tóm lại, chúng tôi muốn logarit của đầu ra của mô hình phù hợp để tối ưu hóa dựa trên độ dốc của khả năng ghi nhật ký của dữ liệu huấn luyện.

Động lực

• Chúng tôi muốn một mô hình tuyến tính, nhưng chúng tôi không thể sử dụng trực tiếp dưới dạng .$z = w^T x + b$$z \in (-\infty, +\infty)$
• Để phân loại, sẽ hợp lý khi giả định phân phối Bernoulli và mô hình hóa tham số của nó trong .$\theta$$P(Y=1) = \theta$
• Vì vậy, chúng ta cần ánh xạ từ sang để thực hiện phân loại.$z$$(-\infty, +\infty)$$[0, 1]$

Tại sao chức năng sigmoid logistic?

Cắt bằng mang lại độ dốc bằng không cho bên ngoài . Chúng ta cần một độ dốc mạnh bất cứ khi nào dự đoán của mô hình sai, bởi vì chúng ta giải quyết hồi quy logistic với độ dốc giảm dần. Đối với hồi quy logistic, không có giải pháp dạng đóng.$z$$P(Y=1|z) = max\{0, min\{1, z\}\}$$z$$[0, 1]$

Hàm logistic có đặc tính tốt là không điều chỉnh độ dốc không đổi khi dự đoán của mô hình sai, do chúng tôi sử dụng Ước tính khả năng tối đa để phù hợp với mô hình. Điều này được hiển thị dưới đây:

Đối với lợi ích bằng số, Ước tính khả năng tối đa có thể được thực hiện bằng cách giảm thiểu khả năng log âm của dữ liệu đào tạo. Vì vậy, chức năng chi phí của chúng tôi là:

Vì , chúng ta có thể tập trung vào trường hợp . Vì vậy, câu hỏi là làm thế nào để mô hình cho rằng chúng ta có .$P(Y=0 | z) = 1-P(Y=1|z)$$Y=1$$P(Y=1 | z)$$z = w^T x + b$

Các yêu cầu rõ ràng cho hàm ánh xạ đến là:$f$$z$$P(Y=1 | z)$

• $\forall z \in \mathbb{R}: f(z) \in [0, 1]$
• $f(0) = 0.5$
• $f$ nên là wrt đối xứng xoay , tức là , do đó việc lật các dấu hiệu của các lớp không ảnh hưởng đến hàm chi phí.$(0, 0.5)$$f(-x) = 1-f(x)$
• $f$ nên không giảm, liên tục và khác biệt.

Những yêu cầu này được đáp ứng bằng cách thay đổi kích thước các hàm sigmoid . Cả và đáp ứng chúng. Tuy nhiên, các hàm sigmoid khác nhau về hành vi của chúng trong quá trình tối ưu hóa dựa trên độ dốc của khả năng ghi nhật ký. Chúng ta có thể thấy sự khác biệt bằng cách cắm hàm logistic vào hàm chi phí của chúng tôi.$f(z) = \frac{1}{1 + e^{-z}}$$f(z) = 0.5 + 0.5 \frac{z}{1+|z|}$$f(z) = \frac{1}{1 + e^{-z}}$

Độ bão hòa cho$Y=1$

Với và , chi phí của một mẫu phân loại sai (ví dụ ) là:$P(Y=1|z) = \frac{1}{1 + e^{-z}}$$Y=1$$m=1$

Chúng ta có thể thấy rằng có một thành phần tuyến tính . Bây giờ, chúng ta có thể xem xét hai trường hợp:$-z$

• Khi lớn, dự đoán của mô hình là chính xác, vì . Trong hàm chi phí, thuật ngữ xứng với đối với lớn . Do đó, nó gần như hủy bỏ dẫn đến chi phí gần như bằng không cho mẫu này và độ dốc yếu. Điều đó có ý nghĩa, vì mô hình đã dự đoán đúng lớp.$z$$Y=1$$\log(1 + e^z)$$z$$z$$-z$
• Khi nhỏ (nhưng lớn), dự đoán của mô hình không chính xác, vì . Trong hàm chi phí, thuật ngữ tiệm cận thành cho nhỏ . Do đó, chi phí tổng thể cho mẫu này là khoảng , có nghĩa là độ dốc wrt là khoảng . Điều này giúp cho mô hình dễ dàng sửa chữa dự đoán sai của nó dựa trên độ dốc không đổi mà nó nhận được. Ngay cả đối với rất nhỏ , không có bão hòa xảy ra, điều này sẽ gây ra độ dốc biến mất.$z$$|z|$$Y=1$$\log(1 + e^z)$$0$$z$$-z$$z$$-1$$z$

Độ bão hòa cho$Y=0$

Ở trên, chúng tôi tập trung vào trường hợp . Với , hàm chi phí hoạt động tương tự, chỉ cung cấp độ dốc mạnh khi dự đoán của mô hình sai.$Y=1$$Y=0$

Đây là hàm chi phí cho :$J(z)$$Y=1$

Đây là chức năng softplus lật theo chiều ngang. Với , đó là hàm softplus.$Y=0$

Lựa chọn thay thế

Bạn đã đề cập đến các lựa chọn thay thế cho hàm sigmoid logistic, ví dụ . Được chuẩn hóa thành , điều này có nghĩa là chúng ta mô hình .$\frac{z}{1+|z|}$$[0,1]$$P(Y=1|z) = 0.5 + 0.5 \frac{z}{1+|z|}$

Trong MLE, hàm chi phí cho sau đó sẽ là$Y=1$

$J(z) = - \log (0.5 + 0.5 \frac{z}{1+|z|})$ ,

trông như thế này:

Bạn có thể thấy, độ dốc của hàm chi phí ngày càng yếu hơn đối với .$z \rightarrow - \infty$

Vì câu hỏi ban đầu đề cập đến vấn đề độ dốc phân rã, tôi chỉ muốn thêm rằng, đối với các lớp trung gian (nơi bạn không cần diễn giải kích hoạt là xác suất lớp hoặc đầu ra hồi quy), các phi tuyến khác thường được ưa thích hơn các hàm sigmoidal. Nổi bật nhất là các hàm chỉnh lưu (như trong ReLUs ), là các tuyến tính trên miền dương và 0 trên âm. Một trong những lợi thế của chúng là chúng ít chịu sự cố phân rã, vì đạo hàm không đổi trên miền dương. ReLUs đã trở nên phổ biến đến mức sigmoids có thể không thể được gọi là tiêu chuẩn thực tế nữa.

Glorot et al. (2011) . Mạng lưới thần kinh chỉnh lưu thưa thớt