Định nghĩa chính xác của Maxout

Tôi đã cố gắng tìm hiểu chính xác ý nghĩa của chức năng kích hoạt "Maxout" trong các mạng thần kinh. Có câu hỏi này , bài báo này , và thậm chí trong cuốn sách Deep Learning của Bengio et al. , ngoại trừ chỉ với một chút thông tin và một TODO lớn bên cạnh nó.

Tôi sẽ sử dụng ký hiệu được mô tả ở đây cho rõ ràng. Tôi chỉ không muốn gõ lại nó và gây ra câu hỏi. Tóm lại, $a^i_j=\sigma(z^i_j)=\sigma(\sum\limits_k a^{i-1}_kw^i_{jk}+b^i_j)$ , nói cách khác, một tế bào thần kinh có một sự thiên vị duy nhất, một trọng lượng duy nhất cho mỗi đầu vào, và sau đó nó tính tổng các lần đầu vào trọng số, sau đó thêm độ lệch và áp dụng hàm kích hoạt để lấy giá trị đầu ra (còn gọi là kích hoạt).

Cho đến nay tôi biết rằng Maxout là một chức năng kích hoạt "xuất tối đa đầu vào của nó". Điều đó nghĩa là gì? Dưới đây là một số ý tưởng mà tôi có thể giải thích từ đó:

$a^i_j=\max\limits_k (a^{i-1}_k)$
$a^i_j=\max\limits_k (a^{i-1}_kw^i_{jk})+b^i_j$ , chỉ cần thay thế tổng thường được thực hiện bằng max.
$a^i_j=\max\limits_k (a^{i-1}_kw^i_{jk}+b^i_{jk})$ , trong đó mỗi nơ ron hiện có một giá trị sai lệch cho mỗi đầu vào, thay vì một giá trị sai lệch duy nhất được áp dụng sau khi tổng hợp tất cả các đầu vào. Điều này sẽ làm cho backpropagation khác nhau, nhưng vẫn có thể.
Mỗi được tính như bình thường và mỗi nơ ron có một độ lệch và trọng số cho mỗi đầu vào. Tuy nhiên, tương tự như softmax ( ), điều này mất tối đa của tất cả các 's trong đó là lớp hiện tại . Chính thức, . $z^i_j$ $a^i_j = \frac{\exp(z^i_j)}{\sum\limits_k \exp(z^i_k)}$ $z$ $a^i_j=\max\limits_k z^i_k$

Có ai trong số này đúng không? Hay là một cái gì đó khác nhau?

machine-learning neural-networks

— Phylliida
nguồn

Không có cái nào ở trên; mạng tối đa không theo kiến trúc bạn giả định.

Từ đầu phần "mô tả tối đa" trong bài báo bạn đã liên kết , đã xác định tối đa:

Cho đầu vào ( có thể là hoặc có thể là trạng thái của lớp ẩn), lớp ẩn tối đa thực hiện chức năng $x \in \mathbb{R}^d$ $x$ $v$

$h_{i} = max_{j \in [1, k]} z_{i j}$ $h_i = \max_{j \in [1, k]} z_{ij}$
trong đó và và là thông số đã học. $z_{ij} = x^T W_{ij} + b_{ij}$ $W \in \mathbb{R}^{d \times m \times k}$ $b ∈ R^{m \times k}$

Vì vậy, mỗi đơn vị của các đơn vị có kết hợp affine khác nhau của lớp trước đó và xuất ra tối đa các hàm affine đó. Tưởng tượng mỗi lớp được kết nối với lớp trước với các kết nối có màu khác nhau và lấy tối đa các màu. $m$ $k$ $k$ $k$

Ngoài ra, bạn có thể nghĩ về một đơn vị tối đa thực sự là hai lớp: mỗi đơn vị của lớp trước được kết nối với mỗi đơn vị với chức năng kích hoạt nhận dạng và sau đó một đơn vị kết nối các đơn vị tuyến tính đó với kích hoạt nhóm tối đa . $k$ $k$

Điều này có nghĩa là đơn vị, được xem như là một hàm từ đến , là mức tối đa của các hàm affine. Hình 1 của bài báo đưa ra một số ví dụ về các chức năng khác nhau mà nó có thể trông giống như: $\mathbb R^d$ $\mathbb R$

nhập mô tả hình ảnh ở đây

Mỗi đường đứt nét biểu thị một . Bạn có thể biểu diễn bất kỳ hàm lồi nào theo cách này, điều này khá hay. $W^T x + b$

— Dougal
nguồn

Vì vậy, vì , điều đó có nghĩa là . Làm thế nào để một người lấy tối đa của điều này? Là độ lớn của vectơ?

z_{i j} \in R^{m \times k}

$z_{i j} \in \mathbb{R}^{m \times k}$

z_{i 1}, z_{i 2}, . . . \in R^{m}

$z_{i 1},z_{i 2}, ... \in \mathbb{R}^m$

— Phylliida

@DanielleEnsign Việc lập chỉ mục là một chút không chuẩn ở đây, nhưng mỗi , , nên . Đó là một max bình thường, vô hướng.

W_{i j} \in R^{d}

$W_{ij} \in \mathbb R ^d$

x \in R^{d}

$x \in \mathbb R ^d$

b_{i j} \in R

$b_{ij} \in \mathbb R$

z_{i j} \in R

$z_{ij} \in \mathbb R$

— Dougal

Ah cuối cùng tôi đã nhận được nó, cảm ơn. Về cơ bản, mỗi nơ-ron bao gồm rất nhiều "subneuron" nhận đầu vào của nơ-ron đó, có trọng lượng và thành kiến riêng và xuất ra thông qua chức năng kích hoạt nhận dạng. Sau đó, đầu ra của nơ-ron đó là tối đa của tất cả các đầu ra của nơ-ron phụ.

— Phylliida

Sẽ chính xác khi nói rằng bạn có thể mô hình hóa điều này bằng cách sử dụng k nhiều kết nối giữa mỗi cặp nơ-ron được kết nối (chứ không phải là một kết nối như thường lệ), tính toán k kích hoạt cho mỗi cặp và sau đó chọn kết nối hàng đầu làm người chiến thắng? Hoặc đôi khi cần phải sử dụng các thành kiến riêng biệt cho mỗi kết nối phụ, do đó cần phải mô hình hóa từng kết nối như thể nó thuộc về một nơron phụ khác nhau?

— SQLServerSteve

@QueryServerSteve Mỗi kết nối có thể có các thành kiến khác nhau (điều này là cần thiết, ví dụ như đối với "bậc hai" trong hình trên). Nhưng bạn vẫn có thể nghĩ về nó theo cách bạn mô tả, bạn cũng phải thêm vào một thiên vị cho mỗi kết nối. Đôi khi mọi người nói về một "đơn vị thiên vị" tưởng tượng luôn xuất ra 1; trong trường hợp đó, mô hình của bạn hoạt động tốt miễn là đơn vị thiên vị cũng có nhiều kết nối.

k

$k$

— Dougal