Gradient-log-normalizer là gì?

Trong wiki, hàm softmax được định nghĩa là trình chuẩn hóa log-log của phân phối xác suất phân loại . Một lời giải thích một phần cho trình chuẩn hóa log được tìm thấy ở đây , nhưng gradient-log-normalizer dùng để làm gì?

Sử dụng ký hiệu từ trang wikipedia ( https://en.wikipedia.org/wiki/Exponential_f Family), một gia đình hàm mũ là một họ các phân phối xác suất có các pmfs / pdf có thể được viết là (lưu ý rằng , x có thể là vector có giá trị): f θ ( x ) = h ( x ) exp [ η ( θ ) T t ( x ) - A ( θ ) ] trong đó η ( θ ) = η là các tham số tự nhiên,$\theta$$x$

$$f_{\theta}(x)=h(x)\exp[\eta(\theta)^Tt(x)-A(\theta)]$$ $\eta(\theta)=\eta$ là số liệu thống kê đầy đủ, và Một ( θ ) là normalizer log (đôi khi được gọi là phân vùng chức năng log). Lý do A ( θ $t(x)$$A(\theta)$$A(\theta)$ được gọi là normalizer log, vì nó có thể được xác nhận rằng, trong trường hợp liên tục, cho đây là một pdf hợp lệ, chúng ta phải có $$A(\theta)=\log\left[\int h(x)\exp[\eta(\theta)^Tt(x)]dx\right],$$ và trong trường hợp riêng biệt, để đây là một pmf hợp lệ, chúng ta phải có Trong mỗi trường hợp, chúng tôi nhận thấy rằng ∫ h ( x ) exp [ η ( θ ) T t ( x ) ] d x và Σ x h $$A(\theta)=\log\left[\sum_x h(x)\exp[\eta(\theta)^Tt(x)]\right].$$ $\int h(x)\exp[\eta(\theta)^Tt(x)]dx$ là các hằng số chuẩn hóa của các bản phân phối, do đó bộ chuẩn hóa nhật ký tên.$\sum_x h(x)\exp[\eta(\theta)^Tt(x)]$

$k$$\theta_1,\cdots,\theta_{k-1}$$0<\theta_1,\cdots,\theta_{k-1}$$\sum_{i=1}^{k-1}\theta_i<1$$\theta_k=1-\sum_{i=1}^{k-1}\theta_i$$\theta=(\theta_1,\cdots,\theta_{k})$$x=(x_1,\cdots,x_{k})$$x_i=1$$x_j=0$$i\neq j$

$$f_{\theta}(x)=\prod_{i=1}^k\theta_i^{x_i}.$$ $h(x)=1$$\eta(\theta)=(\log[\theta_1/\theta_k],\cdots, \log[\theta_{k-1}/\theta_k],0)$$t(x)=(x_1,\cdots,x_{k})$$A(\theta)=-\log[\theta_k]$ $$f_{\theta}(x)=\exp[(\log[\theta_1/\theta_k],\cdots, \log[\theta_{k-1}/\theta_k],0)^T(x_1,\cdots,x_{k})-(-\log[\theta_k])].$$

$\eta(\theta_i)=\log[\theta_i/\theta_k]=\eta_i$$\theta_i=\frac{e^{\eta_i}}{\sum_{j=1}^ke^{\eta_j}}$

$$A(\eta)=-\log\left[\frac{e^{\eta_k}}{\sum_{j=1}^ke^{\eta_j}}\right]= -\log\left[\frac{1}{\sum_{j=1}^ke^{\eta_j}}\right]=\log\left[\sum_{j=1}^ke^{\eta_j}\right].$$ $\eta_i$ $$\frac{\partial}{\partial \eta_i}A(\eta)=\frac{e^{\eta_i}}{\sum_{j=1}^ke^{\eta_j}},$$ $$\nabla A(\eta)=\left[\frac{e^{\eta_1}}{\sum_{j=1}^ke^{\eta_j}},\cdots,\frac{e^{\eta_k}}{\sum_{j=1}^ke^{\eta_j}}\right].$$