Trong phân loại nhị phân Gaussian Process, tại sao các hàm sigmoid được ưa thích hơn các hàm Gaussian?

Tôi hiện đang nghiên cứu "Các quy trình Gaussian cho học máy" và trong chương 3, họ nói rằng hậu thế $p(y_*|X,\mathbf{y},\mathbf{x}_*)$ (eq. 3.10) và biến sau tiềm ẩn (eq. 3.9) nói chung không thể giải quyết bằng phương pháp phân tích, do khả năng sigmoid trong (3.9 ) và hàm sigmoid trong (3.10). Để cứu mọi người khỏi phải tìm các phương trình, chúng như sau: $p(f_*|X,\mathbf{y},\mathbf{x}_*)$

\begin{aligned} p (y_{*} = + 1 | X, y, x_{*}) & = \int σ (f_{*}) p (f_{*} | X, y, x_{*}) d f_{*} & (3.10) \\ p (f_{*} | X, y, x_{*}) & = \int p (f_{*} | X, x_{*}, f) p (f | X, y) d f & (3.9) \end{aligned}

$\begin{align} p(y_*=+1|X,\mathbf{y},\mathbf{x}_*) &= \int\sigma(f_*)\,p(f_*|X,\mathbf{y},\mathbf{x}_*)\,df_*\quad\quad&\mbox{(3.10)} \\ p(f_*|X,\mathbf{y},\mathbf{x}_*) &= \int p(f_*|X,\mathbf{x}_*,\mathbf{f})\,p(\mathbf{f}|X,\mathbf{y})\,d\mathbf{f}&\mbox{(3.9)} \end{align}$

Câu hỏi chính của tôi là: để phân loại nhị phân với được mô hình hóa như một Quá trình Gaussian, tại sao lại sử dụng các hàm sigmoid (trong cả hai phương trình) thay vì hàm Gaussian Điều này sẽ dẫn đến các giải pháp dạng đóng cho cả hai tích phân. Hàm Gaussian không đơn điệu, giống như các hàm sigmoid, nhưng GP có thể tạo ra các hàm với nhiều bước ngoặt, do đó tính đơn điệu có vẻ không cần thiết. Để đảm bảo rằng (3.10) hội tụ để khi là xa dữ liệu huấn luyện, nó có lẽ sẽ đủ để cung cấp cho các trước trung bình : $f$

p (y = + 1 | f (x)) = g (f (x)) ≜ \exp {- \frac{f^{2} (x)}{2}} ?

$p(y=+1\,|\,f(\mathbf{x}))=g(f(\mathbf{x}))\triangleq\exp\left\{-\frac{f^2(\mathbf{x})}{2}\right\} \enspace?$

\frac{1}{2}

$\frac{1}{2}$

x_{*}

$\mathbf{x_*}$

p (f | X)

$p(\mathbf{f}|X)$

\begin{aligned} E [f | X] & = ω 1_{n} \\ ω & = \sqrt{- 2 \ln \frac{1}{2}}, \end{aligned}

$\begin{align} \mathbb{E}[\mathbf{f}|X] &= \omega\mathbf{1}_n \\ \omega&=\sqrt{-2\ln\frac{1}{2}} \enspace, \end{align}$ trong đó

1_{n}

$\mathbf{1}_n$ là một vectơ của

n

$n$

1

$1$ 's và

n

$n$ là số lượng mẫu đào tạo, vì:

g (ω) = \frac{1}{2} .

$g\left(\omega\right)=\frac{1}{2}\enspace.$

Trái ngược với hành vi của khả năng sigmoid, khả năng Gaussian sẽ ưu tiên các mục lớn (dương hoặc âm) trong $\mathbf{f}$ cho các điểm đầu vào được gắn nhãn âm và các mục nhỏ trong $\mathbf{f}$ cho các điểm được gắn nhãn tích cực.

Các hàm Gaussian sẽ dẫn đến các vấn đề không xảy ra với sigmoids? Có bất kỳ giấy tờ nào trong đó các hàm Gaussian đã được sử dụng trong phân loại GP nhị phân thay vì sigmoids không?

Cập nhật, ngày 25 tháng 5 năm 2017

Khi phản ánh thêm, giá trị trung bình trước không được đề xuất ở trên cũng giúp giải quyết sự mơ hồ về dấu hiệu của nên là gì ( không ủng hộ một trong hai dấu hiệu; ). Giải quyết sự mơ hồ này dường như rất quan trọng, bởi vì nếu giá trị trung bình của trước, , bằng 0, thì giá trị trung bình của cũng sẽ bằng 0 theo khả năng được xác định bởi , vì trước đó và khả năng cả hai sẽ là các hàm chẵn của . I E: $f$ $g$ $g(f(\mathbf{x}))=g(-f(\mathbf{x}))$ $p(\mathbf{f}|X)$ $p(\mathbf{f}|X,\mathbf{y})$ $g$ $\mathbf{f}$

\begin{aligned} p (y | f) & = \prod_{i = 1}^{n} p (y_{i} | f_{i}) \\ p (y_{i} | f_{i}) & = {\begin{cases} g (f_{i}) & , y_{i} = + 1 \\ 1 - g (f_{i}) & , y_{i} = - 1 \end{cases} \\ ∴ E [f | X] = 0 \to p (- f | X, y) & = \frac{p (y | - f) p (- f | X))}{p (y | X)} = \frac{p (y | f) p (f | X))}{p (y | X)} = p (f | X, y) . \end{aligned}

$\begin{align} p(\mathbf{y}|\mathbf{f})&=\prod_{i=1}^n p(\mathbf{y}_i|\mathbf{f}_i) \\ p(\mathbf{y}_i|\mathbf{f}_i) &= \begin{cases} g(\mathbf{f}_i) & ,\;\mathbf{y}_i=+1 \\ 1-g(\mathbf{f}_i) & ,\;\mathbf{y}_i=-1 \end{cases} \\ \therefore \mathbb{E}[\mathbf{f}|X]=\mathbf{0} \enspace\rightarrow\enspace p(-\mathbf{f}|X,\mathbf{y}) &=\frac{p(\mathbf{y}|-\mathbf{f})p(-\mathbf{f}|X))}{p(\mathbf{y}|X)} =\frac{p(\mathbf{y}|\mathbf{f})p(\mathbf{f}|X))}{p(\mathbf{y}|X)} =p(\mathbf{f}|X,\mathbf{y}) \enspace. \end{align}$

Nếu giá trị trung bình của bằng 0, nhãn tập huấn luyện sẽ không cung cấp bất kỳ thông tin nào về nhãn điểm truy vấn , vì vậy rõ ràng chúng ta không được cho phép việc này. Vì vậy, ngoài việc định nghĩa , có lẽ chúng ta nên tiếp tục thiên vị hướng tới tích cực bằng cách đưa ra độ lệch chuẩn tương đối nhỏ , ví dụ , trong đó là hàm hiệp phương sai và . Nếu chúng ta làm điều này, có lẽ chúng ta cũng nên tăng quy mô $p(\mathbf{f}|X,\mathbf{y})$ $\mathbf{y}$ $y_*$ $\mathbb{E}[\mathbf{f}|X]=\omega\mathbf{1}_n$ $p(\mathbf{f}|X,\mathbf{y})$ $\mathbf{f}$ $p(\mathbf{f}|X)$ $\sqrt{k(x,x)}=\frac{\omega}{\beta}$ $k$ $\beta\in[2,3]$ $g$ Đối số của nó, do đó sẽ không phải cách xa trung bình trước đó để tạo ra các giá trị nhỏ của : trong đó . $\mathbf{f}$ $g$

g (f (x); s) = \exp {- \frac{f^{2} (x)}{2 s^{2}}},

$g(f(\mathbf{x});s)=\exp\left\{-\frac{f^2(\mathbf{x})}{2s^2}\right\}\enspace,$

s < 1

$s<1$

Đây sẽ là một cách hợp lý để khắc phục vấn đề mơ hồ dấu hiệu ? $f$

— Ôi
nguồn

Câu trả lời:

Tôi tin rằng họ đề cập đến điều này trong phần chú thích cho chương 3 (trang đầu tiên)

Người ta có thể chọn bỏ qua sự không thống nhất của các giá trị đích và sử dụng phương pháp điều trị hồi quy, trong đó tất cả các mục tiêu xảy ra được nói là 1 cho phân loại nhị phân. Điều này được gọi là phân loại bình phương nhỏ nhất, xem phần 6.5.

Nhìn vào 6.5 http: //www.gaussian process.org/gpml/ch chương / RW6.pdf họ đề cập đến lợi thế của việc sử dụng các hàm sigmoid là các đầu ra có thể được giải thích theo xác suất (nghĩa là xác suất mà một ví dụ có phản hồi tích cực) .

— Tối đa S.
nguồn

Phân loại bình phương nhỏ nhất không phải là điều tôi nghĩ, mặc dù đây là một cách thay thế thú vị khác để xem xét phân loại nhị phân. Những gì tôi đã nghĩ là thực hiện phân loại nhị phân GP chính xác như được mô tả trong chương 3, ngoại trừ mọi lần xuất hiện của đều được thay thế bằng hàm Gaussian ở trên (lưu ý rằng tối đa của là 1; nó không phải là Gaussian PDF bình thường) và trước được cho là giá trị trung bình được mô tả trong câu hỏi của tôi.

σ

$\sigma$

g

$g$

g

$g$

p (f | X)

$p(\mathbf{f}|X)$

— Ose

Vấn đề với cách tiếp cận này là số lượng thuật ngữ trong sẽ tăng theo cấp số nhân với số điểm được gắn nhãn tiêu cực trong tập huấn luyện, do đó, giải pháp dạng đóng cho (3.9) sẽ có độ phức tạp theo thời gian theo cấp số nhân. Cụ thể hơn, nếu chúng ta giả sử, không mất tính tổng quát, thì sau đó Để có được một giải pháp dạng đóng cho (3.9), chúng ta phải mở rộng sản phẩm đầu tiên thành một tổng số các hàm Gaussian (không chuẩn hóa), để chúng ta có thể tích hợp từng cái một cách riêng biệt: $p(\mathbf y|\mathbf f)$

y_{1} = \dots = y_{a} = - 1, y_{a + 1} = \dots = y_{n} = + 1,

$\mathbf y_1=\ldots=\mathbf y_a=-1 \enspace,\enspace \mathbf y_{a+1}=\ldots=\mathbf y_n=+1 \enspace,$

p (y | f) = (\prod_{i = 1}^{a} (1 - g (f_{i}))) \prod_{i = a + 1}^{n} g (f_{i}) .

$p(\mathbf y|\mathbf f) = \left(\prod_{i=1}^a (1-g(\mathbf f_i))\right) \prod_{i=a+1}^n g(\mathbf f_i) \enspace.$

\prod_{i = 1}^{a} (1 - g (f_{i})) = \sum_{I \in P {1, \dots, a}} (- 1)^{| I |} \exp {- \frac{1}{2} \sum_{i \in I} f_{i}^{2}} .

$\prod_{i=1}^a (1-g(\mathbf f_i)) = \sum_{I\in \mathcal{P}\{1,\ldots,a\}} (-1)^{|I|}\exp\left\{ -\frac{1}{2}\sum_{i\in I}\mathbf f^2_i \right\} \enspace.$ Có bộ trong tập hợp sức mạnh của các chỉ số điểm được gắn nhãn âm , vì vậy việc giải quyết (3.9) sẽ liên quan đến tính toán tích phân Gaussian.

2^{a}

$2^a$

P {1, \dots, a}

$\mathcal P\{1,\ldots,a\}$

{1, \dots, a}

$\{1,\ldots,a\}$

2^{a}

$2^a$

— Ôi
nguồn