Sai lệch hồi quy Softmax và xác suất trước cho các lớp không bằng nhau

Tôi đang sử dụng hồi quy Softmax cho một vấn đề phân loại nhiều lớp. Tôi không có xác suất trước bằng nhau cho mỗi lớp.

Tôi biết từ Hồi quy logistic (hồi quy softmax với 2 lớp) rằng xác suất trước đó của các lớp được thêm vào sai lệch ( $\log(p_0/p_1)$ ).

Thông thường những gì tôi làm là loại bỏ thủ công thuật ngữ này khỏi sự thiên vị.

Câu hỏi của tôi là, thuật ngữ tương ứng trong thiên vị hồi quy softmax là gì?

Cảm ơn.

logistic prior unbalanced-classes

— Đã chạy
nguồn

Theo như tôi biết, sự biện minh cho việc khởi tạo thiên vị softmax là một chút gợn sóng. Nhớ lại hồi quy softmax là ước tính khả năng (log) tối đa cho , với mô hình là: Với khởi tạo thiên vị, ý định của chúng tôi là tìm một giá trị tốt mà bắt đầu cao. Theo giả định rằng chúng tôi khởi tạo $W,\textbf{b}$

y \sim Cat (σ (W x + b)); σ_{i} (z) = \frac{\exp z_{i}}{\sum_{j} \exp z_{j}} .

$\DeclareMathOperator{cat}{Cat} \newcommand{\norm}[1]{\left\| #1 \right\|} \newcommand{vsigma}{{\boldsymbol\sigma}} \newcommand{vx}{{\textbf{x}}} \newcommand{vb}{{\textbf{b}}} \newcommand{vz}{{\textbf{z}}} y\sim\cat(\vsigma(W\vx+\vb)); \;\;\;\sigma_i(\vz)=\frac{\exp z_i}{\sum_j\exp z_j}.$

b

$\vb$

p (x, y | W, b) \propto p (y | W, b, x)

$p(\vx, y|W,\vb)\propto p( y|W,\vb,\vx)$

W

$W$ với các giá trị gần 0 nhỏ và là nhãn trong , nên: Thêm xác suất đăng nhập cho tất cả các ví dụ độc lập giả định , một khởi tạo tốt cho sẽ giảm thiểu tổng khả năng nhật ký dữ liệu gần đúng: Độ dốc của wrt trên là , với

y

$y$

[K]

$[K]$

W x \approx 0

$W\vx\approx 0$

\log p (y | W, b, x) = \sum_{k = 1}^{K} 1_{y = k} \log σ_{k} (W x + b) \approx \log σ_{y} (b)

$\log p( y|W,\vb,\vx)=\sum_{k=1}^K1_{y=k}\log \sigma_k(W\vx + \vb)\approx\log\sigma_y(\vb)$

{(x_{i}, y_{i})}_{i = 1}^{n}

$\{(\vx_i,y_i)\}_{i=1}^n$

b

$\vb$

\sum_{i = 1}^{n} \log σ_{y_{i}} (b) = \sum_{i = 1}^{n} b_{y_{i}} - n \log \sum_{k = 1}^{K} \exp b_{k}

$\newcommand{vc}{{\textbf{c}}} \sum_{i=1}^n\log\sigma_{y_i}(\vb)=\sum_{i=1}^nb_{y_i}-n\log\sum_{k=1}^K\exp b_k$

b

$\vb$

c - n σ (b)

$\vc-n\vsigma(\vb)$

c \in N^{K}

$\vc\in\mathbb{N}^K$ vectơ đếm của mỗi lớp. Các chức năng trên cũng là lõm, xem câu hỏi ở đây về mịn max để chứng minh.

Hai sự thật ở trên ngụ ý tối đa có sẵn bất cứ khi nào . Đến lượt nó, điều này cho thấy một khởi tạo khả thi cho thuật ngữ thứ của bias thực sự là , tỷ lệ của các ví dụ -labelling trong tập huấn luyện (còn gọi là thống kê cận biên). Bạn có thể thấy rằng bạn có thể thêm bất kỳ hằng số nào vào và cũng đạt được khả năng tối đa hóa khả năng khác; Tuy nhiên, quy mô lớn sẽ nhận được trong suốt quá trình học . Mối quan hệ với xu hướng logistic không phải là ngẫu nhiên --- hướng dẫn này thảo luận về sự giống nhau. $\vsigma(\vb)=\vc/n$ $i$ $b_i$ $\vb$ $\log p_i$ $i$ $\vb$ $W$

— VF1
nguồn