Hyperplanes phân loại tối ưu dữ liệu khi đầu vào độc lập có điều kiện - Tại sao?

Trong bài báo có tên Deep Learning và Thông tin về tắc nghẽn thông tin, các tác giả nêu trong phần II A) như sau:

Các nơ-ron đơn chỉ phân loại các đầu vào có thể phân tách tuyến tính, vì chúng chỉ có thể thực hiện các siêu phẳng trong không gian đầu vào của chúng . Hyperplanes có thể phân loại tối ưu dữ liệu khi các đầu vào là độc lập conditioanlly.$u = wh+b$

Để hiển thị điều này, họ rút ra những điều sau đây. Sử dụng định lý Bayes, họ nhận được:

$p(y|x) = \frac{1}{1 + exp(-log\frac{p(x|y)}{p(x|y')} -log\frac{p(y)}{p(y')})}$ (1)

Trong đó là đầu vào, là lớp và là lớp dự đoán (tôi giả sử, không được xác định). Tiếp tục, họ nói rằng:$x$$y$$y'$$y'$

$\frac{p(x|y)}{p(x|y')} = \prod^N_{j=1}[\frac{p(x_j|y)}{p(x_j|y')}]^{np(x_j)}$ (2)

Trong đó là kích thước đầu vào và Tôi không chắc chắn (một lần nữa, cả hai đều không xác định). Xem xét một tế bào thần kinh sigmoidal, với chức năng kích hoạt sigmoid và vô hiệu hóa , sau khi chèn (2) vào (1), chúng ta sẽ nhận được các giá trị trọng lượng tối ưu và , khi các giá trị đầu vào .$N$$n$$\sigma(u) = \frac{1}{1+exp(-u)}$$u$$w_j = log\frac{p(x_j|y)}{p(x_j|y')}$$b=log\frac{p(y)}{p(y')}$$h_j=np(x_j)$

Bây giờ đến câu hỏi của tôi. Tôi hiểu cách chèn (2) vào (1) dẫn đến trọng số tối ưu và giá trị đầu vào . Tuy nhiên, điều tôi không hiểu là như sau:$w,b,h$

1. Làm thế nào (1) dẫn xuất bằng định lý Bayes?
2. (2) có nguồn gốc như thế nào? là gì Ý nghĩa của nó là gì? Tôi cho rằng nó có liên quan đến sự độc lập có điều kiện$n$
3. Ngay cả khi kích thước của x là độc lập có điều kiện, làm thế nào người ta có thể nói rằng nó bằng với xác suất tỷ lệ của nó? (tức là làm thế nào bạn có thể nói ?)$h_j=np(x_j)$

EDIT: Biến là biến nhị phân. Từ đây tôi giả sử rằng là lớp "khác". Điều này sẽ giải quyết câu hỏi 1. Bạn có đồng ý không?$y$$y'$

Xin lỗi về các chi tiết còn thiếu trong bài báo ngắn của chúng tôi, nhưng những mối quan hệ và mối liên hệ giữa bài kiểm tra Tỷ lệ khả năng và tế bào thần kinh sigmoidal chắc chắn không phải là mới, và có thể được tìm thấy trong sách giáo khoa (ví dụ: Giám mục 2006). Trong bài báo của chúng tôi, 'N' là kích thước đầu vào và 'n' là kích thước mẫu thử nghiệm (thực sự được dịch sang SNR đầu vào theo giả định rằng SNR phát triển như sqrt (n)). Việc kết nối với hàm sigmoidal được thực hiện thông qua quy tắc Bayes, như là phần sau của lớp. Không có gì trong phần còn lại của bài báo và bài báo mới hơn và quan trọng hơn của chúng tôi từ năm 2017 thực sự phụ thuộc vào điều này.

Naftali Tishby

Cho 1

$P(y \mid x) = \frac{P(y, x)}{P(x)}$

$= \frac{P(y,x)}{\sum_{i}P(y_{i},x)}$

Bây giờ vì là nhị phân, điều này trở thành:$y_{i}$

$= \frac{P(y,x)}{P(y,x)+P(y',x)}$

$= \frac{1}{1+\frac{P(y',x)}{P(y,x)}}$

$= \frac{1}{1+exp[-log \ \frac{P(y,x)}{P(y',x)}]}$

và từ đó nó chỉ là thuộc tính của logarit để đi đến hình thức cuối cùng (cần phải đủ rõ ràng vào thời điểm này, cho tôi biết nếu không).

Đây là một thiết lập mô hình trong đó các tác giả đang sử dụng một dạng định lý Bayes đặc biệt áp dụng khi bạn có một biến nhị phân quan tâm. Đầu tiên họ lấy dạng định lý Bayes đặc biệt này là phương trình (1), và sau đó họ chỉ ra rằng điều kiện trong phương trình (2) dẫn họ đến dạng tuyến tính được chỉ định cho mạng của họ. Điều quan trọng cần lưu ý là phương trình sau không xuất phát từ các điều kiện trước --- thay vào đó, nó là điều kiện cho dạng tuyến tính mà chúng đang sử dụng cho mạng của chúng.

---

Xuất phát phương trình thứ nhất: Phương trình (1) trong bài báo chỉ là một dạng của định lý Bayes định khung xác suất quan tâm có điều kiện theo hàm logistic (sigmoid) hoạt động trên các hàm của khả năng và trước đó. Lấy và là hai kết quả nhị phân của biến ngẫu nhiên và áp dụng định lý Bayes, sẽ cho:$y$$y'$$Y$

$$\begin{equation} \begin{aligned} p(y|\mathbf{x}) = \frac{p(y,\mathbf{x})}{p(\mathbf{x})} &= \frac{p(\mathbf{x}|y) p(y)}{p(\mathbf{x}|y) p(y)+p(\mathbf{x}|y') p(y')} \\[6pt] &= \frac{1}{1+ p(\mathbf{x}|y') p(y')/p(\mathbf{x}|y) p(y)} \\[6pt] &= \frac{1}{1+ \exp \Big( \log \Big( \tfrac{p(\mathbf{x}|y') p(y')}{p(\mathbf{x}|y) p(y)} \Big) \Big)} \\[6pt] &= \frac{1}{1+ \exp \Big( - \log \tfrac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} - \log \tfrac{p(y)}{p(y')} \Big)} \\[6pt] &= \text{logistic} \Bigg( \log \frac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} + \log \frac{p(y)}{p(y')} \Bigg). \\[6pt] \end{aligned} \end{equation}$$

Sử dụng phương trình (2) làm điều kiện cho hình thức liên kết của mạng: Như đã nêu ở trên, phương trình này không phải là một cái gì đó có nguồn gốc từ các kết quả trước đó. Thay vào đó, đó là một điều kiện đủ dẫn đến dạng tuyến tính mà các tác giả sử dụng trong mô hình của họ --- tức là, các tác giả đang nói rằng nếu phương trình này giữ, thì một số kết quả tiếp theo sẽ xảy ra. Để vectơ đầu vào có độ dài , nếu phương trình (2) giữ, sau đó lấy logarit của cả hai bên sẽ cho:$\mathbf{x} = (x_1,...,x_N)$$N$

$$\begin{equation} \begin{aligned} \log \frac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} &= \log \prod_{i=1}^N \Big[ \frac{p(x_i|y)}{p(x_i|y')} \Big]^{n p (x_i)} \\[6pt] &= \sum_{i=1}^N n p (x_i) \log \Big[ \frac{p(x_i|y)}{p(x_i|y')} \Big] \\[6pt] &= \sum_{i=1}^N h_i w_i. \\[6pt] \end{aligned} \end{equation}$$

Do đó, trong điều kiện này, chúng tôi có được hình thức sau:

$$\begin{equation} \begin{aligned} p(y|\mathbf{x}) &= \text{logistic} \Bigg( \log \frac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} + \log \frac{p(y)}{p(y')} \Bigg) \\[6pt] &= \text{logistic} \Bigg( \sum_{i=1}^N h_i w_i + b \Bigg), \\[6pt] \end{aligned} \end{equation}$$

đó là hình thức mà các tác giả đang sử dụng trong mạng của họ. Đây là mẫu mô hình được các tác giả đưa ra trong phần nền, trước khi chỉ định phương trình (1) - (2). Bài báo không định nghĩa là trong thiết lập mô hình này, nhưng như bạn chỉ ra, câu trả lời của Giáo sư Tishby nói rằng đây là cỡ mẫu thử nghiệm. Liên quan đến câu hỏi thứ ba của bạn, dường như các yêu cầu của phương trình (2) có nghĩa rằng các giá trị trong là không có điều kiện độc lập cho .$n$$\mathbf{x}$ y$y$