Gaussian xử lý lợi ích

13

Tôi có sự nhầm lẫn này liên quan đến lợi ích của các quá trình Gaussian. Ý tôi là so sánh nó với hồi quy tuyến tính đơn giản, trong đó chúng ta đã định nghĩa rằng hàm tuyến tính mô hình hóa dữ liệu.

Tuy nhiên, trong các quy trình Gaussian, chúng tôi xác định phân phối các hàm có nghĩa là chúng tôi không xác định cụ thể rằng hàm phải là tuyến tính. Chúng ta có thể định nghĩa một ưu tiên so với chức năng là Gaussian trước đó xác định các tính năng như chức năng sẽ trơn tru như thế nào và tất cả.

Vì vậy, chúng ta không cần phải xác định rõ ràng mô hình nên là gì. Tuy nhiên, tôi có câu hỏi. Chúng tôi có khả năng cận biên và sử dụng nó, chúng tôi có thể điều chỉnh các tham số hàm hiệp phương sai của gaussian trước. Vì vậy, điều này tương tự với việc xác định loại hàm mà nó không phải là nó.

Nó đi sâu vào cùng một điều xác định các tham số mặc dù trong GP chúng là các siêu đường kính. Ví dụ trong bài báo này . Họ đã định nghĩa rằng hàm trung bình của GP giống như

m (x) = a x^{2} + b x + c i.e. a second order polynomial.

$m(x) = ax ^2 + bx + c \quad \text{i.e. a second order polynomial.}$

Vì vậy, chắc chắn mô hình / chức năng được xác định không phải là nó. Vì vậy, sự khác biệt trong việc xác định hàm là tuyến tính như trong LR.

Tôi chỉ không nhận được lợi ích của việc sử dụng GP

gaussian-process

— người dùng34790
nguồn

7

Chúng ta hãy nhớ lại một số công thức về hồi quy quy trình Gaussian. Giả sử chúng ta có một mẫu . Đối với mẫu loglikabilities này có dạng: trong đó là ma trận hiệp phương sai mẫu. Có là một hàm hiệp phương sai với các tham số chúng ta điều chỉnh bằng cách sử dụng tối đa hóa loglikabilities. Dự đoán (trung bình sau) cho một điểm mới có dạng: ở đó $D = (X,\mathbf{y}) = \{(\mathbf{x}_i, y_i)\}_{i = 1}^N$

L = - \frac{1}{2} (\log | K | + y^{T} K^{- 1} y),

$L = -\frac12 \left( \log |K| + \mathbf{y}^T K^{-1} \mathbf{y}\right),$

K = {k (x_{i}, x_{j})}_{i, j = 1}^{N}

$K = \{k(\mathbf{x}_i, \mathbf{x}_j)\}_{i, j = 1}^N$

k (x_{i}, x_{j})

$k(\mathbf{x}_i, \mathbf{x}_j)$

x

$\mathbf{x}$

\hat{y} (x) = k K^{- 1} y,

$\hat{y}(\mathbf{x}) = \mathbf{k} K^{-1} \mathbf{y},$

k = {k (x, x_{i})}_{i = 1}^{N}

$\mathbf{k} = \{k(\mathbf{x}, \mathbf{x}_i)\}_{i = 1}^N$ là một vectơ hiệp phương sai giữa điểm mới và điểm mẫu.

Bây giờ lưu ý rằng hồi quy quy trình Gaussian có thể mô hình các mô hình tuyến tính chính xác. Giả sử rằng hàm hiệp phương sai có dạng . Trong trường hợp này, dự đoán có dạng: Danh tính là đúng trong trường hợp không phải là trường hợp không phải là trường hợp, nhưng đây không phải là vấn đề trong trường hợp chúng ta sử dụng chính quy ma trận hiệp phương sai. Vì vậy, phía bên tay phải là công thức chính xác cho hồi quy tuyến tính và chúng ta có thể thực hiện hồi quy tuyến tính với các quy trình Gaussian bằng cách sử dụng hàm hiệp phương sai thích hợp. $k(\mathbf{x}_i, \mathbf{x}_j) = \mathbf{x}_i^T \mathbf{x}_j$

\hat{y} (x) = x^{T} X^{T} (X X^{T})^{- 1} y = x^{T} (X^{T} X)^{- 1} X^{T} y .

$\hat{y}(\mathbf{x}) = \mathbf{x}^T X^T (X X^T)^{-1} \mathbf{y} = \mathbf{x}^T (X^T X)^{-1} X^T \mathbf{y}.$

(X X^{T})^{- 1}

$(X X^T)^{-1}$

Bây giờ chúng ta hãy xem xét một hồi quy quy trình Gaussian với một hàm hiệp phương sai khác (ví dụ: hàm hiệp phương sai bình phương có dạng , có là một ma trận các siêu đường kính chúng ta điều chỉnh). Rõ ràng, trong trường hợp này, ý nghĩa sau không phải là một hàm tuyến tính (xem hình ảnh). $\exp \left( -(\mathbf{x}_i - \mathbf{x}_j)^T A^{-1} (\mathbf{x}_i - \mathbf{x}_j) \right)$ $A$

nhập mô tả hình ảnh ở đây .

Vì vậy, lợi ích là chúng ta có thể mô hình hóa các hàm phi tuyến bằng cách sử dụng hàm hiệp phương sai phù hợp (chúng ta có thể chọn một hàm hiện đại, trong hầu hết các trường hợp, hàm hiệp phương sai hàm mũ là một lựa chọn khá tốt). Nguồn của phi tuyến không phải là thành phần xu hướng mà bạn đã đề cập, mà là hàm hiệp phương sai.

— Alexey Zaytsev
nguồn

3

Tôi muốn nói rằng đây chỉ là một lợi ích của GP với cũng được chia sẻ với các phương thức kernel khác. Có xác suất và đến từ khuôn khổ Bayes là một lợi thế khác của GP.

— Seeda

2

Đối với tôi, ưu điểm lớn nhất của Quy trình Gaussian là khả năng vốn có để mô hình hóa tính không chắc chắn của mô hình. Điều này cực kỳ hữu ích bởi vì, với giá trị mong đợi của hàm và phương sai tương ứng, tôi có thể xác định một số liệu (nghĩa là hàm Aquisition ) có thể cho tôi biết ví dụ: điểm đó là gì, tôi sẽ đánh giá hàm ở đâu, điều đó sẽ dẫn đến giá trị (kỳ vọng) cao nhất của . Điều này tạo thành cơ sở của Tối ưu hóa Bayes . $x$ $f$ $f(x)$

Bạn có thể biết thăm dò so với khai thác thương mại . Chúng tôi muốn tìm một số hàm (thường tốn kém để đánh giá) và vì vậy chúng tôi cần tiết kiệm về mà chúng tôi chọn để đánh giá . Có lẽ chúng ta sẽ muốn xem xét các địa điểm gần các điểm mà chúng ta biết rằng hàm có giá trị cao (khai thác) hoặc tại các điểm mà chúng ta không biết về giá trị của hàm (thăm dò). Các quy trình Gaussian cung cấp cho chúng tôi thông tin cần thiết để đưa ra quyết định liên quan đến đánh giá tiếp theo: giá trị trung bình và ma trận hiệp phương sai (độ không đảm bảo), cho phép tối ưu hóa các chức năng hộp đen đắt tiền. $max$ $f$ $x$ $f$ $\mu$ $\Sigma$

— Tomasz Bartkowiak
nguồn