Định lý của Deep Deep Noether: Xây dựng trong các ràng buộc đối xứng

Nếu tôi có một vấn đề học tập cần có sự đối xứng vốn có, có cách nào để đặt vấn đề học tập của tôi vào một ràng buộc đối xứng để tăng cường học tập không?

Ví dụ, nếu tôi đang thực hiện nhận dạng hình ảnh, tôi có thể muốn đối xứng xoay 2D. Có nghĩa là phiên bản xoay của một hình ảnh sẽ nhận được kết quả giống như bản gốc.

Hoặc nếu tôi đang học chơi tic-tac-toe, thì xoay 90deg sẽ mang lại cách chơi tương tự.

Đã có nghiên cứu nào được thực hiện về điều này?

machine-learning

— Aidan.plenert.macdonald
nguồn

Vâng, một số; ví dụ, Nhóm Equivariant Convolutional Networks ( đang ), Harmonic Networks: Sâu dịch và Rotation Equivariance , sâu Rotation Equivariant Mạng , Khai thác Cyclic đối xứng trong Convolutional Neural Networks vv Bạn chỉ không nhìn thấy nó nhiều trong tự nhiên được nêu ra.

— Emre

@Emre Cảm ơn! Bạn có biết về bất kỳ công việc nào bên ngoài CNN không?

— Aidan.plenert.macdonald

Không, tôi chỉ có kiến thức hời hợt về lĩnh vực này. Mặc dù vậy, CNN dường như là một khung cảnh tự nhiên ...

— Emre

Tôi cũng nên đề cập đến luận án tiến sĩ của Risi Kondor, Phương pháp lý thuyết nhóm trong học máy (pdf)

— Emre

Từ nhận xét của Emre ở trên, Phần 4.4 của các phương pháp lý thuyết nhóm trong học máy của Risi Kondor có thông tin chi tiết và bằng chứng về việc tạo các phương thức kernel vốn có đối xứng. Tôi sẽ tóm tắt nó một cách trực quan hy vọng (tôi là một nhà vật lý không phải là nhà toán học!).

Hầu hết các thuật toán ML có phép nhân ma trận như, với là đầu vào và là trọng số chúng tôi muốn đào tạo.

\begin{aligned} s_{i} & = \sum_{j} W_{i j} x_{j} \\ = \sum_{j} W_{i j} ({\vec{e}}_{j} \cdot \vec{x}) \end{aligned}

$\begin{align} s_i &= \sum_j W_{ij}~x_j \\ &= \sum_j W_{ij}~(\vec{e}_j \cdot \vec{x}) \end{align}$

\vec{x}

$\vec{x}$

W_{i j}

$W_{ij}$

Phương pháp hạt nhân

Nhập địa hạt của các phương thức kernel và để thuật toán xử lý đầu vào thông qua, trong đó bây giờ chúng ta khái quát hóa cho .

\begin{aligned} s_{i} & = \sum_{j} W_{i j} k (e_{j}, x) \end{aligned}

$\begin{align} s_i &= \sum_j W_{ij}~k(e_j,~x) \end{align}$

x, e_{j} \in X

$x, e_j \in \mathcal{X}$

Hãy xem xét một nhóm có tác dụng trên qua cho . Một cách đơn giản để làm cho thuật toán của chúng ta bất biến trong nhóm này là tạo kernel, với . $G$ $\mathcal{X}$ $x \rightarrow T_g(x)$ $g \in G$

\begin{aligned} k^{G} (x, y) & = \frac{1}{| G |} \sum_{g \in G} k (x, T_{g} (y)) \end{aligned}

$\begin{align} k^G(x, y) &= \frac{1}{|G|} \sum_{g \in G} k(x, T_g(y)) \end{align}$

k (x, y) = k (T_{g} (x), T_{g} (y))

$k(x, y) = k(T_g(x), T_g(y))$

Vì vậy,

\begin{aligned} k^{G} (x, T_{h} (y)) & = \frac{1}{| G |} \sum_{g \in G} k (x, T_{g h} (y)) \\ = \frac{1}{| G |} \sum_{g \in G} k (x, T_{g} (y)) \\ = \frac{1}{| G |} \sum_{g \in G} k (T_{g} (x), y) \end{aligned}

$\begin{align} k^G(x, T_h(y)) &= \frac{1}{|G|} \sum_{g \in G} k(x, T_{gh}(y)) \\ &= \frac{1}{|G|} \sum_{g \in G} k(x, T_{g}(y)) \\ &= \frac{1}{|G|} \sum_{g \in G} k(T_{g}(x), y) \end{align}$

Với hoạt động cho tất cả các biểu diễn đơn nhất, $k(x, y) = x \cdot y$

\begin{aligned} k^{G} (x, T_{h} (y)) & = [\frac{1}{| G |} \sum_{g \in G} T_{g} (x)] \cdot y \end{aligned}

$\begin{align} k^G(x, T_h(y)) &= \left[ \frac{1}{|G|} \sum_{g \in G} T_{g}(x) \right] \cdot y \end{align}$

Cung cấp một ma trận biến đổi có thể đối xứng hóa đầu vào thành thuật toán.

Ví dụ SO (2)

Trên thực tế, chỉ có nhóm ánh xạ tới các phép quay để đơn giản. $\frac{\pi}{2}$

Chúng ta hãy chạy hồi quy tuyến tính trên dữ liệu trong đó chúng ta mong đợi sự đối xứng quay. $(\vec{x}_i, y_i) \in \mathbb{R}^2 \times \mathbb{R}$

Vấn đề tối ưu hóa của chúng tôi trở thành,

\begin{aligned} min_{W_{j}} & \sum_{i} \frac{1}{2} (y_{i} - {\tilde{y}}_{i})^{2} \\ {\tilde{y}}_{i} & = \sum_{j} W_{j} k_{G} (e_{j}, x_{i}) + b_{i} \end{aligned}

$\begin{align} \min_{W_{j}} &\sum_i \frac{1}{2} (y_i - \tilde{y}_i)^2 \\ \tilde{y}_i &= \sum_j W_{j} k_G(e_j, x_i) + b_i \end{align}$

Hạt nhân thỏa mãn . Bạn cũng có thể sử dụng và nhiều loại nhân. $k(x, y) = \| x - y \|^2$ $k(x, y) = k(T_g(x), T_g(y))$ $k(x, y) = x \cdot y$

Do đó,

\begin{aligned} k_{G} (e_{j}, x_{i}) & = \frac{1}{4} \sum_{n = 1}^{4} ‖ R (n π / 2) {\vec{e}}_{j} - {\vec{x}}_{i} ‖^{2} \\ = \frac{1}{4} \sum_{n = 1}^{4} (\cos (n π / 2) - {\vec{x}}_{i 1})^{2} + (\sin (n π / 2) - {\vec{x}}_{i 2})^{2} \\ = \frac{1}{4} [2 {\vec{x}}_{i 1}^{2} + 2 {\vec{x}}_{i 2}^{2} + (1 - {\vec{x}}_{i 1})^{2} + (1 - {\vec{x}}_{i 2})^{2} + (1 + {\vec{x}}_{i 1})^{2} + (1 + {\vec{x}}_{i 2})^{2}] \\ = {\vec{x}}_{i 1}^{2} + {\vec{x}}_{i 2}^{2} + 1 \end{aligned}

$\begin{align} k_G(e_j, x_i) &= \frac{1}{4} \sum_{n=1}^4 \| R(n\pi/2)~\vec{e}_j - \vec{x}_i \|^2 \\ &= \frac{1}{4} \sum_{n=1}^4 ( \cos(n\pi/2) - \vec{x}_{i1} )^2 + ( \sin(n\pi/2) - \vec{x}_{i2} )^2 \\ &= \frac{1}{4} \left[ 2 \vec{x}_{i1}^2 + 2 \vec{x}_{i2}^2 + (1 - \vec{x}_{i1} )^2 + (1 - \vec{x}_{i2} )^2 + (1 + \vec{x}_{i1} )^2 + (1 + \vec{x}_{i2} )^2 \right] \\ &= \vec{x}_{i1}^2 + \vec{x}_{i2}^2 + 1 \end{align}$

Lưu ý rằng chúng ta không cần tổng hợp vì nó giống nhau cho cả hai. Vì vậy, vấn đề của chúng tôi trở thành, $j$

\begin{aligned} min_{W} & \sum_{i} \frac{1}{2} (y_{i} - {\tilde{y}}_{i})^{2} \\ {\tilde{y}}_{i} & = W [{\vec{x}}_{i 1}^{2} + {\vec{x}}_{i 2}^{2} + 1] + b_{i} \end{aligned}

$\begin{align} \min_{W} &\sum_i \frac{1}{2} (y_i - \tilde{y}_i)^2 \\ \tilde{y}_i &= W \left[ \vec{x}_{i1}^2 + \vec{x}_{i2}^2 + 1 \right] + b_i \end{align}$

Mà mang lại sự đối xứng hình cầu dự kiến!

TIC Tac Toe

Mã ví dụ có thể được nhìn thấy ở đây . Nó cho thấy làm thế nào chúng ta có thể tạo ra một ma trận mã hóa đối xứng và sử dụng nó. Lưu ý rằng điều này thực sự tồi tệ khi tôi thực sự chạy nó! Làm việc với các hạt nhân khác tại thời điểm này.

— Aidan.plenert.macdonald
nguồn

Làm tốt lắm, Aidan! Nếu bạn có thời gian, bạn có thể viết một bài đăng blog chi tiết hơn. Cộng đồng sẽ được quan tâm nhất.

— Emre

Không chắc bạn đang đề cập đến cộng đồng nào, nhưng tôi bắt đầu viết nhiều hơn. Tôi muốn tìm một cách để ước tính hạt nhân tối ưu được cung cấp một bộ dữ liệu. Vì vậy, tôi đã tối ưu hóa entropy trên không gian kernel để có được một bộ tính năng mới bị ràng buộc đối xứng và cũng là entropic tối đa (nghĩa là thông tin). Bây giờ cho dù đó là cách tiếp cận đúng. Tôi không thể nói. Chỉ cần một cảnh báo, toán học là một chút của một công việc hack ngay bây giờ và loại ra khỏi stat mech. overleaf.com/read/kdfzdbyhpbbq

— aidan.plenert.macdonald

Có cách tiếp cận có ý nghĩa nào khi nhóm đối xứng không được biết đến?

— leitasat

@leitasat Làm sao bạn biết nó đối xứng nếu bạn không biết nhóm?

— Aidan.plenert.macdonald

@ Aidan.plenert.macdonald từ dữ liệu. Giả sử chúng ta có 1000 bộ 100 hình ảnh mỗi bộ và trong mỗi bộ có hình ảnh của một đối tượng từ các quan điểm khác nhau. Bất kỳ thuật toán nào có thể "tìm hiểu ý tưởng" về tính đối xứng SO (3) và sử dụng nó trên các đối tượng chưa từng thấy trước đây?

— leitasat

Hóa ra đây chỉ là nghiên cứu về Lý thuyết bất biến áp dụng cho Học máy

— Aidan.plenert.macdonald
nguồn