Quá trình Gaussian: thuộc tính gần đúng chức năng

Tôi đang tìm hiểu về Quá trình Gaussian và chỉ nghe thấy các bit và miếng. Sẽ thực sự đánh giá cao ý kiến và câu trả lời.

Đối với bất kỳ tập hợp dữ liệu nào, có đúng là một xấp xỉ hàm Gaussian Process sẽ cho sai số phù hợp bằng 0 hoặc không đáng kể tại các điểm dữ liệu không? Ở một nơi khác tôi cũng nghe nói rằng Quy trình Gaussian đặc biệt tốt cho dữ liệu nhiễu. Điều này dường như mâu thuẫn với lỗi lắp thấp cho bất kỳ dữ liệu quan sát nào?

Ngoài ra, xa các điểm dữ liệu dường như có nhiều sự không chắc chắn hơn (hiệp phương sai lớn hơn). Nếu vậy, nó có hoạt động như các mô hình địa phương (RBF, v.v.) không?

Cuối cùng, có bất kỳ tính gần đúng phổ quát?

gaussian-process

— oalah
nguồn

Mẫu dữ liệu Giả sử là . Ngoài ra, giả sử rằng chúng ta có hàm hiệp phương sai và không có nghĩa là không được chỉ định cho quy trình Gussian. Phân phối cho một điểm mới sẽ là Gaussian với trung bình và phương saiVector là một vectơ của hiệp phương sai , ma trận $D = (X, \mathbf{y}) = \{\mathbf{x}_i, y_i = y(x_i)\}_{i = 1}^N$ $k(\mathbf{x}_1, \mathbf{x}_2)$ $\mathbf{x}$

m (x) = = k K^{- 1} y

$m(\mathbf{x}) = \mathbf{k} K^{-1} \mathbf{y}$

V (x) = = k (x, x) - k K^{- 1} k^{T} .

$V(\mathbf{x}) = k(\mathbf{x}, \mathbf{x}) - \mathbf{k} K^{-1} \mathbf{k}^T.$

k = {k (x, x_{1}), \dots, k (x, x_{N})}

$\mathbf{k} = \{k(\mathbf{x}, \mathbf{x}_1), \ldots, k(\mathbf{x}, \mathbf{x}_N)\}$

K = {k (x_{i}, x_{j})}_{i, j = 1}^{N}

$K = \{k(\mathbf{x}_i, \mathbf{x}_j)\}_{i, j = 1}^N$ là một ma trận của hiệp phương sai mẫu. Trong trường hợp chúng tôi đưa ra dự đoán bằng cách sử dụng giá trị trung bình của phân phối sau cho các thuộc tính nội suy mẫu . Thực sự, Nhưng, đó không phải là trường hợp nếu chúng ta sử dụng chính quy tức là kết hợp thuật ngữ tiếng ồn trắng. trong trường hợp này, ma trận hiệp phương sai cho mẫu có dạng , nhưng đối với hiệp phương sai có giá trị hàm thực, chúng ta có ma trận hiệp phương sai và trung bình sau là Ngoài ra, chính quy hóa làm cho vấn đề tính toán ổn định hơn.

m (X) = = K K^{- 1} y = = y .

$m(X) = K K^{-1} \mathbf{y} = \mathbf{y}.$

K + σ I

$K + \sigma I$

K

$K$

m (X) = = K (K + σ Tôi)^{- 1} y \neq y .

$m(X) = K (K + \sigma I)^{-1} \mathbf{y} \neq \mathbf{y}.$

Chọn phương sai tạp âm chúng ta có thể chọn nếu chúng ta muốn nội suy ( ) hoặc chúng ta muốn xử lý các quan sát nhiễu ( là lớn). $\sigma$ $\sigma = 0$ $\sigma$

Ngoài ra, hồi quy quy trình Gaussian là phương pháp cục bộ vì phương sai của các dự đoán tăng theo khoảng cách với mẫu học tập, nhưng chúng ta có thể chọn hàm hiệp phương sai thích hợp và xử lý các vấn đề phức tạp hơn so với RBF. Một tài sản tốt đẹp là số lượng nhỏ các tham số. Thông thường nó bằng , trong đó là thứ nguyên dữ liệu. $k$ $O(n)$ $n$

— Alexey Zaytsev
nguồn