Quan sát hợp nhất trong quá trình Gaussian

Tôi đang sử dụng quy trình Gaussian (GP) để hồi quy.

Trong vấn đề của tôi, nó khá phổ biến đối với hai hoặc nhiều điểm dữ liệu gần nhau, tương đối với độ dài quy mô của vấn đề. Ngoài ra, các quan sát có thể cực kỳ ồn ào. Để tăng tốc tính toán và cải thiện độ chính xác của phép đo , việc hợp nhất / tích hợp các cụm điểm gần nhau là điều tự nhiên, miễn là tôi quan tâm đến các dự đoán trên quy mô dài hơn.$\vec{x}^{(1)},\vec{x}^{(2)},\ldots$

Tôi tự hỏi một cách nhanh chóng nhưng bán nguyên tắc để làm điều này là gì.

Nếu hai điểm dữ liệu trùng nhau hoàn hảo, và nhiễu quan sát (nghĩa là khả năng) là Gaussian, có thể là dị vòng nhưng được biết đến , cách tiến hành tự nhiên dường như hợp nhất chúng trong một điểm dữ liệu duy nhất với:$\vec{x}^{(1)} = \vec{x}^{(2)}$

• $\vec{\bar{x}} \equiv \vec{x}^{(k)}$ , với .$k=1,2$

• Giá trị quan sát là giá trị trung bình của các giá trị quan sát có trọng số chính xác tương đối của chúng: . y(1),y(2) ˉ y =σ 2 y ( → x ( 2 )$\bar{y}$$y^{(1)}, y^{(2)}$$\bar{y} = \frac{\sigma_y^2(\vec{x}^{(2)})}{\sigma_y^2(\vec{x}^{(1)}) + \sigma_y^2(\vec{x}^{(2)})} y^{(1)} + \frac{\sigma_y^2(\vec{x}^{(1)})}{\sigma_y^2(\vec{x}^{(1)}) + \sigma_y^2(\vec{x}^{(2)})} y^{(2)}$

• Tiếng ồn liên quan đến quan sát bằng: .$\sigma_y^2(\bar{x}) = \frac{\sigma_y^2(\vec{x}^{(1)}) \sigma_y^2(\vec{x}^{(2)})}{\sigma_y^2(\vec{x}^{(1)}) + \sigma_y^2(\vec{x}^{(2)})}$

Tuy nhiên, làm thế nào để hợp nhất hai điểm gần nhau nhưng không trùng nhau?

• Tôi nghĩ rằng $\vec{\bar{x}}$ vẫn phải là trung bình có trọng số của hai vị trí, một lần nữa sử dụng độ tin cậy tương đối. Cơ sở lý luận là một đối số trung tâm (nghĩa là nghĩ về một quan sát rất chính xác như một chồng các quan sát ít chính xác hơn).

• Cho $\bar{y}$ cùng công thức như trên.

• Đối với nhiễu liên quan đến quan sát, tôi tự hỏi liệu ngoài công thức trên tôi có nên thêm thuật ngữ hiệu chỉnh cho nhiễu không vì tôi đang di chuyển điểm dữ liệu xung quanh. Về cơ bản, tôi sẽ nhận được sự gia tăng độ không chắc chắn có liên quan đến và (tương ứng, phương sai tín hiệu và thang độ dài của hàm hiệp phương sai). Tôi không chắc chắn về hình thức của thuật ngữ này, nhưng tôi có một số ý tưởng dự kiến ​​về cách tính toán nó với hàm hiệp phương sai. ℓ $\sigma_f^2$$\ell^2$

Trước khi tiếp tục, tôi tự hỏi liệu đã có một cái gì đó ở ngoài đó chưa; và nếu đây có vẻ là một cách tiến hành hợp lý, hoặc có những phương pháp nhanh hơn tốt hơn .

Điều gần nhất tôi có thể tìm thấy trong tài liệu này là bài báo này: E. Snelson và Z. Ghahramani, Các quy trình Gaussian thưa thớt sử dụng đầu vào giả , NIPS '05; nhưng phương pháp của họ là (tương đối) liên quan, đòi hỏi tối ưu hóa để tìm đầu vào giả.

Câu hỏi tuyệt vời và những gì bạn đang đề nghị âm thanh hợp lý. Tuy nhiên cá nhân tôi sẽ tiến hành khác nhau để có hiệu quả. Như bạn đã nói, hai điểm gần nhau cung cấp ít thông tin bổ sung và do đó mức độ tự do hiệu quả của mô hình ít hơn số lượng điểm dữ liệu quan sát được. Trong trường hợp này nó có thể là giá trị sử dụng phương pháp Nystroms được mô tả tốt trong GPML (chương về xấp xỉ thưa thớt có thể được nhìn thấy http://www.gaussianprocess.org/gpml/ ). Phương pháp này rất dễ thực hiện và gần đây đã được chứng minh là có độ chính xác cao bởi Rudi et al. ( http://arxiv.org/abs/1507.04717 )

Tôi cũng đã nghiên cứu các quan sát hợp nhất khi thực hiện hồi quy quy trình Gaussian. Trong vấn đề của tôi, tôi chỉ có một đồng biến.

Tôi không chắc chắn rằng tôi nhất thiết phải đồng ý rằng việc xấp xỉ Nystrom là thích hợp hơn. Cụ thể, nếu có thể tìm thấy một xấp xỉ đủ dựa trên bộ dữ liệu được hợp nhất, các phép tính có thể nhanh hơn so với khi sử dụng xấp xỉ Nystrom.

Dưới đây là một số biểu đồ hiển thị 1000 điểm dữ liệu và giá trị trung bình GP sau, GP sau có nghĩa với các bản ghi được hợp nhất và GP sau có nghĩa là sử dụng xấp xỉ Nystrom. Các hồ sơ được nhóm dựa trên các thùng có kích thước bằng nhau của hiệp phương thức được đặt hàng. Thứ tự gần đúng liên quan đến số lượng nhóm khi hợp nhất các bản ghi và thứ tự của xấp xỉ Nystrom. Cả hai cách tiếp cận hợp nhất và xấp xỉ Nystrom đều tạo ra kết quả giống hệt với hồi quy GP tiêu chuẩn khi khi thứ tự gần đúng bằng số điểm.

Trong trường hợp này, khi thứ tự gần đúng là 10, phương pháp hợp nhất có vẻ thích hợp hơn. Khi thứ tự là 20, giá trị trung bình từ xấp xỉ Nystrom không thể phân biệt trực quan với giá trị trung bình GP chính xác, mặc dù giá trị trung bình dựa trên các quan sát hợp nhất có lẽ là đủ tốt. Khi đơn hàng là 5, cả hai đều khá nghèo.