Tạo động lực cho các đơn vị sản lượng sigmoid trong các mạng thần kinh bắt đầu với xác suất log unnormalized tuyến tính trong

12

Bối cảnh: Tôi đang học chương 6 của Deep Learning của Ian Goodfellow và Yoshua Bengio và Aaron Courville. Trong phần 6.2.2.2 (trang 182 trên 183 có thể xem tại đây ) việc sử dụng sigmoid để xuất được thúc đẩy. $P(y=1|x)$

Để tóm tắt một số tài liệu họ cho là nơ ron đầu ra trước khi kích hoạt được áp dụng trong đó là đầu ra của lớp ẩn trước đó, là vectơ của trọng số và là độ lệch vô hướng. Các vector đầu vào được ký hiệu (trong đó là một hàm của) và giá trị sản lượng được ký hiệu nơi là hàm sigmoid. Cuốn sách muốn xác định phân phối xác suất trên bằng cách sử dụng giá trị

z = w^{T} h + b

$z = w^Th+b$

h

$h$

w

$w$

b

$b$

x

$x$

h

$h$

y = ϕ (z)

$y=\phi(z)$

ϕ

$\phi$

y

$y$

z

$z$ . Từ đoạn thứ hai của trang 183:

Hiện tại, chúng tôi bỏ qua sự phụ thuộc vào để thảo luận về cách định nghĩa phân phối xác suất trên bằng giá trị . Sigmoid có thể được thúc đẩy bằng cách xây dựng phân phối xác suất không chuẩn hóa , không tổng bằng 1. Sau đó chúng ta có thể chia cho một hằng số thích hợp để có được phân phối xác suất hợp lệ. Nếu chúng ta bắt đầu với giả định rằng xác suất nhật ký không chuẩn hóa là tuyến tính theo và , chúng ta có thể lũy thừa để có được xác suất không chuẩn hóa. Chúng tôi sau đó bình thường hóa để thấy rằng sản lượng này một bản phân phối Bernoulli điều khiển bởi một chuyển đổi sigma của z: $x$ $y$ $z$ $\tilde P(y)$ $y$ $z$
$\begin{aligned} \log \tilde{P} (y) & = y z \\ \tilde{P} (y) & = \exp (y z) \\ P (y) & = \frac{\exp (y z)}{\sum_{y^{'} = 0}^{1} \exp (y^{'} z)} \\ P (y) & = ϕ ((2 y - 1) z) \end{aligned}$ $\begin{align} \log\tilde P(y) &= yz \\ \tilde P(y) &= \exp(yz) \\ P(y) &= \frac{\exp(yz)}{\sum_{y'=0}^1 \exp(y'z) } \\ P(y) &= \phi((2y-1)z) \end{align}$

Câu hỏi: Tôi bối rối về hai điều, đặc biệt là điều đầu tiên:

Giả định ban đầu đến từ đâu? Tại sao xác suất log không chuẩn hóa tuyến tính trong và ? Ai đó có thể cho tôi một số inituition về cách các tác giả bắt đầu với ? $y$ $z$ $\log\tilde P(y) = yz$
Làm thế nào để dòng cuối cùng theo sau?

neural-networks deep-learning

— HBeel
nguồn

8

Có hai kết quả có thể xảy ra cho . Điều này rất quan trọng, bởi vì tính chất này thay đổi ý nghĩa của phép nhân. Có hai trường hợp có thể xảy ra: $y \in \{0, 1\}$

\begin{aligned} \log \tilde{P} (y = 1) & = z \\ \log \tilde{P} (y = 0) & = 0 \end{aligned}

$\begin{align} \log\tilde P(y=1) &= z \\ \log\tilde P(y=0) &= 0 \\ \end{align}$

Ngoài ra, điều quan trọng cần lưu ý là xác suất logarit không chuẩn hóa cho là không đổi. Tài sản này xuất phát từ giả định chính. Áp dụng bất kỳ hàm xác định nào cho giá trị không đổi sẽ tạo ra đầu ra không đổi. Thuộc tính này sẽ đơn giản hóa công thức cuối cùng khi chúng ta thực hiện chuẩn hóa trên tất cả các xác suất có thể, bởi vì chúng ta chỉ cần biết xác suất không chuẩn hóa cho và với nó luôn luôn không đổi. Và vì đầu ra từ mạng trong xác suất logarit không chuẩn hóa, chúng tôi sẽ chỉ yêu cầu một đầu ra, bởi vì một đầu ra khác là không đổi. $y=0$ $y=1$ $y=0$

Tiếp theo, chúng tôi đang áp dụng lũy thừa cho xác suất logarit không chuẩn hóa để có được xác suất không chuẩn hóa.

\begin{aligned} \tilde{P} (y = 1) & = e^{z} \\ \tilde{P} (y = 0) & = e^{0} = 1 \end{aligned}

$\begin{align} \tilde P(y=1) &= e ^ z \\ \tilde P(y=0) &= e ^ 0 = 1 \end{align}$

Tiếp theo, chúng ta chỉ bình thường hóa xác suất chia cho mỗi xác suất không chuẩn hóa bằng tổng tất cả các xác suất không chuẩn hóa có thể có.

\begin{aligned} P (y = 1) = \frac{e^{z}}{1 + e^{z}} \\ P (y = 0) = \frac{1}{1 + e^{z}} \end{aligned}

$\begin{align} P(y=1) = \frac{e ^ z}{1 + e ^ z} \\ P(y=0) = \frac{1}{1 + e ^ z} \end{align}$

$P(y=1)$

\begin{aligned} P (y = 1) = \frac{e^{x}}{1 + e^{x}} = \frac{1}{\frac{e^{x} + 1}{e^{x}}} = \frac{1}{1 + \frac{1}{e^{x}}} = \frac{1}{1 + e^{- x}} \end{aligned}

$\begin{align} P(y=1) = \frac{e ^ x}{1 + e ^ x} = \frac{1}{\frac{e ^ x + 1}{e ^ x}} = \frac{1}{1 + \frac{1}{e ^ x}} = \frac{1}{1 + e ^ {-x}} \end{align}$

$(2y−1)$ $0$ $-1$ $1$ $1$

P (y) = σ ((2 y - 1) z) = {\begin{cases} σ (z) = \frac{1}{1 + e^{- z}} = \frac{e^{z}}{1 + e^{z}} & when y = 1 \\ σ (- z) = \frac{1}{1 + e^{- (- z)}} = \frac{1}{1 + e^{z}} & when y = 0 \end{cases}

$P(y) = \sigma((2y - 1)z) = \begin{cases} \sigma(z) = \frac{1}{1 + e ^ {-z}} = \frac{e ^ z}{1 + e ^ z} & \text{when } y = 1 \\ \sigma(-z) = \frac{1}{1 + e ^ {-(-z)}} = \frac{1}{1 + e ^ z} & \text{when } y = 0 \\ \end{cases}$

$\sigma$ $P(y)$

— itdxer
nguồn

y = 0

$y=0$

y = 1

$y=1$

y = 1

$y=1$

y \times z

$y\times z$

y

$y$

z

$z$

a y + b z + c

$ay + bz + c$

\log

$\log$

y z

$yz$

Tôi hiểu rồi, đó thực sự là một câu hỏi thú vị. Tôi đã không chú ý đến câu nói này khi tôi đọc câu hỏi lần đầu tiên. Bây giờ nó có vẻ kỳ lạ với tôi là tốt. Một vấn đề là biến nhị phân y và tôi không chắc cách kiểm tra các thuộc tính của hàm tuyến tính trong các trường hợp này. Tôi đoán nó sẽ có ý nghĩa nếu bạn đặt câu hỏi riêng biệt, có lẽ ai đó có thể giải thích cho bạn tại sao nó được viết theo cách này.

— itdxer

2

Tôi cũng thấy đoạn này của cuốn sách đầy thách thức để theo dõi, và câu trả lời trên của itdxer xứng đáng có một thời gian để hiểu cũng như cho một người không rành về xác suất và tư duy toán học. Tuy nhiên, tôi đã thực hiện nó bằng cách đọc câu trả lời ngược, vì vậy hãy bắt đầu với sigmoid của z

\begin{aligned} P (y = 1) = \frac{e^{z}}{1 + e^{z}} = \frac{1}{1 + e^{- z}} \end{aligned}

$\begin{align} P(y=1) = \frac{e ^ z}{1 + e ^ z} = \frac{1}{1 + e ^ {-z}} \end{align}$

và cố gắng theo dõi trở lại.

\begin{aligned} \log \tilde{P} (y) & = y z \end{aligned}

$\begin{align} \log\tilde P(y) &= yz \end{align}$

Sau đó, có lý do tại sao họ bắt đầu giải thích với yz - đó là do thiết kế, giống như cuối cùng

\begin{aligned} σ ((2 y - 1) z) \end{aligned}

$\begin{align} \sigma((2y-1)z) \end{align}$

bằng cách xây dựng cho phép lấy -1 cho y = 0 và 1 cho y = 1, đây là các giá trị duy nhất có thể có của y theo Bernoulli.

— Jakub Jurek
nguồn

0

Đây là một cụm từ chính thức hơn sẽ thu hút những người có nền tảng lý thuyết đo lường.

$Y$ $P_Y$ $y\in \{0,1\}$ $P_Y(y)=P(Y=y)$ $\tilde P_Y$

Chúng tôi có chuỗi ý nghĩa sau đây:

\begin{aligned} \log {\tilde{P}}_{Y} (y) = y z & ⟹ {\tilde{P}}_{Y} (y) = \exp (y z) \\ ⟹ P_{Y} (y) = \frac{e^{y z}}{e^{0 \cdot z} + e^{1 \cdot z}} = \frac{e^{y z}}{1 + e^{z}} \\ ⟹ P_{Y} (y) = y \frac{e^{z}}{1 + e^{z}} + (1 - y) \frac{1}{1 + e^{z}} \\ ⟹ P_{Y} (y) = y σ (z) + (1 - y) σ (- z) \\ ⟹ P_{Y} (y) = σ ((2 y - 1) z) \end{aligned}

$\begin{aligned} \log \tilde P_Y(y)=yz &\implies \tilde P_Y(y) = \exp(yz)\\ &\implies P_Y(y) = \frac{e^{yz}}{e^{0\cdot z}+e^{1\cdot z}}=\frac{e^{yz}}{1+e^{ z}}\\ &\implies P_Y(y) =y\frac{e^{z}}{1+e^{ z}} + (1-y)\frac{1}{1+e^{ z}}\\ &\implies P_Y(y) =y\sigma(z) + (1-y)\sigma(-z)\\ &\implies P_Y(y) = \sigma((2y-1)z) \end{aligned}$

$\{0,1\}$ $\{-1,1\}$

— Gabriel Romon
nguồn