Câu hỏi được gắn thẻ «softmax»

Trong https://cs231n.github.io/neural-networks-case-study/ tại sao nó lại đề cập đến "trình phân loại Softmax diễn giải mọi yếu tố của ff là giữ xác suất nhật ký (không chuẩn hóa) của ba lớp." Tôi hiểu tại sao nó không được chuẩn hóa nhưng không phải tại sao nó lại đăng nhập? …

9 machine-learning  neural-networks  information-theory  softmax 

Trong wiki, hàm softmax được định nghĩa là trình chuẩn hóa log-log của phân phối xác suất phân loại . Một lời giải thích một phần cho trình chuẩn hóa log được tìm thấy ở đây , nhưng gradient-log-normalizer dùng để làm gì?

9 softmax 

Câu hỏi này tiếp theo trên stats.stackexchange.com/q/233658 Mô hình hồi quy logistic cho các lớp {0, 1} là P(y=1|x)=exp(wTx)1+exp(wTx)P(y=0|x)=11+exp(wTx)P(y=1|x)=exp⁡(wTx)1+exp⁡(wTx)P(y=0|x)=11+exp⁡(wTx) \mathbb{P} (y = 1 \;|\; x) = \frac{\exp(w^T x)}{1 + \exp(w^T x)} \\ \mathbb{P} (y = 0 \;|\; x) = \frac{1}{1 + \exp(w^T x)} Rõ ràng các xác suất đó tổng …

8 logistic  neural-networks  multinomial-logit  softmax  identifiability 

Tôi đang cố gắng để hiểu tại sao hàm softmax được định nghĩa như vậy: ezjΣKk = 1ezk= σ( z)ezjΣk=1Kezk=σ(z)\frac{e^{z_{j}}} {\Sigma^{K}_{k=1}{e^{z_{k}}}} = \sigma(z) Tôi hiểu làm thế nào điều này bình thường hóa dữ liệu và ánh xạ chính xác đến một số phạm vi (0, 1) nhưng sự khác …

8 probability  neural-networks  softmax 

Tôi mới học sâu và đang cố gắng tính đạo hàm của hàm sau đối với ma trận ww\mathbf w: p(a)=ew⊤axΣdew⊤dxp(a)=ewa⊤xΣdewd⊤xp(a) = \frac{e^{w_a^\top x}}{\Sigma_{d} e^{w_d^\top x}} Sử dụng quy tắc thương, tôi nhận được: ∂p(a)∂w=xew⊤axΣdew⊤dx−ew⊤axΣdxew⊤dx[Σdew⊤dx]2=0∂p(a)∂w=xewa⊤xΣdewd⊤x−ewa⊤xΣdxewd⊤x[Σdewd⊤x]2=0\frac{\partial p(a)}{\partial w} = \frac{xe^{w_a^\top x}\Sigma_{d} e^{w_d^\top x} - e^{w_a^\top x}\Sigma_{d} xe^{w_d^\top x}}{[\Sigma_{d} e^{w_d^\top x}]^2} = …

8 machine-learning  self-study  neural-networks  derivative  softmax