Vấn đề đồ chơi hồi quy quá trình Gaussian

Tôi đã cố gắng để có được một số trực giác cho hồi quy quy trình Gaussian, vì vậy tôi đã thực hiện một vấn đề đồ chơi 1D đơn giản để thử. Tôi lấy làm đầu vào và làm phản hồi. ('Lấy cảm hứng' từ ) $x_i=\{1,2,3\}$ $y_i=\{1,4,9\}$ $y=x^2$

Đối với hồi quy, tôi đã sử dụng hàm nhân hàm mũ bình phương chuẩn:

k (x_{p}, x_{q}) = σ_{f}^{2} \exp (- \frac{1}{2 l^{2}} {| x_{p} - x_{q} |}^{2})

$k(x_p,x_q)=\sigma_f^2 \exp \left( - \frac{1}{2l^2} \left|x_p-x_q\right|^2 \right)$

Tôi giả sử rằng có nhiễu với độ lệch chuẩn $\sigma_n$ , do đó ma trận hiệp phương sai trở thành:

K_{p q} = k (x_{p}, x_{q}) + σ_{n}^{2} δ_{p q}

$K_{pq} = k(x_p,x_q) + \sigma_n^2 \delta_{pq}$

Các siêu đường kính $(\sigma_n,l,\sigma_f)$ được ước tính bằng cách tối đa hóa khả năng ghi nhật ký của dữ liệu. Để đưa ra dự đoán tại một điểm $x_\star$ , tôi đã tìm thấy giá trị trung bình và phương sai tương ứng bằng cách sau đây

μ_{x_{⋆}} = = k_{⋆}^{T} (K + σ_{n}^{2} Tôi)^{- 1} y

$\mu_{x_\star} = k_\star^T (\mathbf{K}+\sigma_n^2\mathbf{I})^{-1} y$

σ_{x_{⋆}}^{2} = = k (x_{⋆}, x_{⋆}) - k_{⋆}^{T} (K + σ_{n}^{2} Tôi)^{- 1} k_{⋆}

$\sigma_{x_\star}^2 = k(x_\star,x_\star)-k_\star^T(\mathbf{K}+\sigma_n^2\mathbf{I})^{-1} k_\star$

Trong đó $k_\star$ là vectơ của hiệp phương sai giữa $x_\star$ và các đầu vào và $y$ là một vectơ của các đầu ra.

Kết quả của tôi cho $1<x<3$ được hiển thị bên dưới. Đường màu xanh là đường trung bình và đường màu đỏ đánh dấu các khoảng lệch chuẩn.

Kết quả

Tôi không chắc chắn nếu điều này là đúng mặc dù; đầu vào của tôi (được đánh dấu bởi 'X) không nằm trên đường màu xanh. Hầu hết các ví dụ tôi thấy có ý nghĩa giao nhau giữa các đầu vào. Đây có phải là một tính năng chung được mong đợi?

regression gaussian-process

— Comp_War chiến binh
nguồn

Nếu tôi phải đoán, trong các ví dụ bạn đang xem không có lỗi dư. Trong trường hợp đó, dòng sẽ đi qua tất cả các điểm.

— anh chàng

@Guy chính xác.

Câu trả lời:

Hàm trung bình đi qua các điểm dữ liệu thường là một dấu hiệu của sự phù hợp quá mức. Tối ưu hóa các tham số siêu bằng cách tối đa hóa khả năng cận biên sẽ có xu hướng ủng hộ các mô hình rất đơn giản trừ khi có đủ dữ liệu để chứng minh một cái gì đó phức tạp hơn. Vì bạn chỉ có ba datapoint, ít nhiều trong một dòng có ít nhiễu, nên mô hình đã được tìm thấy có vẻ khá hợp lý với tôi. Về cơ bản, dữ liệu có thể được giải thích là một hàm cơ bản tuyến tính với độ ồn vừa phải hoặc một hàm cơ bản phi tuyến tính vừa phải với ít nhiễu. Cái trước là đơn giản hơn trong hai giả thuyết, và được ưa chuộng bởi "dao cạo của Occam".

— Sao Hỏa Dikran
nguồn

Cảm ơn các đầu vào. Bạn có thể cho tôi biết thêm về "quá phù hợp"; nó là một tính năng tích cực / tiêu cực?

— Comp_War Warrior

quá phù hợp là một điều tiêu cực, về cơ bản nó có nghĩa là mô hình đang ghi nhớ sự thay đổi ngẫu nhiên trong dữ liệu, điều này có xu hướng làm cho hiệu suất khái quát hóa trở nên tồi tệ hơn. Lý tưởng nhất là bạn muốn mô hình tìm hiểu dạng cơ bản của dữ liệu trong khi bỏ qua nhiễu làm ô nhiễm nó. Hầu hết các sách giáo khoa máy học tốt, sẽ bao gồm điều này trong một chương đầu.

— Dikran Marsupial

Chỉ cần quan tâm, tại sao các downvote?

— Dikran Marsupial

Tôi đã không đánh giá thấp bạn; Trong thực tế, tôi đã ủng hộ!

— Comp_War Warrior

không có vấn đề gì với Comp_War Warrior, tôi không nghĩ đó là bạn, nhưng ai đó đã hạ thấp câu trả lời của tôi và tôi sẽ rất vui khi có một số phản hồi về lý do tại sao. Tất cả chúng ta đều có thể sai lầm và nếu tôi có điều gì đó sai trong câu trả lời của mình, tôi rất muốn sửa nó.

— Dikran Marsupial

Bạn đang sử dụng các công cụ ước tính Kriging với việc thêm một thuật ngữ tiếng ồn (được gọi là hiệu ứng nugget trong tài liệu quy trình Gaussian). Nếu thuật ngữ tiếng ồn được đặt thành không, nghĩa là,

σ_{n}^{2} δ_{p q} = = 0

$\sigma^2_n \delta_{pq}=0$

sau đó dự đoán của bạn sẽ hoạt động như một phép nội suy và chuyển qua các điểm dữ liệu mẫu.

Điều này có vẻ ổn với tôi, trong cuốn sách GP của Rasmussen, nó chắc chắn hiển thị các ví dụ trong đó hàm trung bình không đi qua từng điểm dữ liệu. Lưu ý rằng đường hồi quy là ước tính cho hàm bên dưới và chúng tôi giả định rằng các quan sát là các giá trị hàm bên dưới cộng với một số nhiễu. Nếu đường hồi quy dựa trên cả ba điểm, về cơ bản nó sẽ nói rằng không có nhiễu trong các giá trị quan sát được.

$\sigma_n = 0$

$l$

$l$ $l$

Theo ghi nhận của Dikran Marsupial, đây là một tính năng tích hợp của Quy trình Gaussian, khả năng cận biên sẽ xử phạt các mô hình quá cụ thể và thích các mô hình có thể giải thích nhiều bộ dữ liệu.

— Tối đa S.
nguồn