Hồi quy phi tuyến tính không đối xứng với độ không đảm bảo dự đoán (bên cạnh các quy trình Gaussian)

Các lựa chọn thay thế tiên tiến nhất cho Quy trình Gaussian (GP) cho hồi quy phi tuyến tính không đối xứng với độ không đảm bảo dự đoán, khi kích thước của tập huấn bắt đầu trở nên cấm đối với GP vanilla, nhưng nó vẫn không lớn lắm?

Chi tiết về vấn đề của tôi là:

không gian đầu vào là chiều thấp ( , với ) $\mathcal{X} \subseteq \mathbb{R}^d$ $2\le d \le 20$
đầu ra có giá trị thực ( ) $\mathcal{Y} \subseteq \mathbb{R}$
điểm đào tạo là , khoảng một bậc lớn hơn so với những gì bạn có thể đối phó với GP tiêu chuẩn (không có xấp xỉ) $10^3 \lesssim N \lesssim 10^4$
hàm $f: \mathcal{X} \rightarrow \mathcal{Y}$ để tính gần đúng là một hộp đen; chúng ta có thể giả sử tính liên tục và mức độ mịn tương đối (ví dụ: tôi sẽ sử dụng ma trận hiệp phương sai Matérn với $\nu = \frac{5}{2}$ cho GP)
đối với mỗi điểm được yêu cầu, phép tính gần đúng cần trả về giá trị trung bình và phương sai (hoặc thước đo độ không đảm bảo tương tự) của dự đoán
Tôi cần phương pháp để có thể điều chỉnh lại tương đối nhanh (theo thứ tự giây) khi một hoặc một vài điểm đào tạo mới được thêm vào tập huấn luyện

Bất kỳ đề xuất nào đều được chào đón (một con trỏ / đề cập đến một phương thức và lý do tại sao bạn nghĩ rằng nó hoạt động là đủ). Cảm ơn bạn!

— lacerbi
nguồn

Thế còn GP thưa thớt? Với vị trí tốt của các điểm cảm ứng và nếu có mối quan hệ thưa thớt giữa đầu vào và đầu ra, điểm đào tạo sẽ là một miếng bánh trên máy trạm Xeon.

10^{4}

$10^4$

— DeltaIV

Cảm ơn @DeltaIV. Tôi nghĩ rằng điểm quan trọng trong câu trả lời của bạn là "với vị trí tốt của các điểm gây ra". Tìm điểm cảm ứng tốt ( là hộp đen) có vẻ như là một vấn đề khó. Những loại xấp xỉ bạn muốn giới thiệu? (ví dụ, FITC?) Nó có hoạt động tốt trong thực tế không?

f

$f$

— lacerbi

Tất nhiên bạn học vị trí của họ từ dữ liệu. Không, FITC kém hơn VFE. Hãy xem tại đây: arxiv.org/pdf/1606.04820v1.pdf . Kích thước & kích thước của tập dữ liệu huấn luyện tương tự như của bạn.

— DeltaIV

Bạn có thực sự cần các phương pháp hồi quy không đối xứng và phi tuyến? Tôi không biết về ứng dụng của bạn, nhưng trong cơ học tính toán và động lực học chất lỏng (trường hợp cổ điển trong đó là hộp đen), các phương pháp tương tự như hồi quy đa thức trực giao hoạt động rất tốt, ví dụ, phương pháp nén cảm biến đa thức hỗn hợp / phương pháp ngẫu nhiên. Nếu không, bạn có thể thử MARS hoặc GAM (mặc dù GAM là phụ gia).

f

$f$

— DeltaIV

Cuối cùng, tôi chưa bao giờ sử dụng chúng, nhưng các khu rừng ngẫu nhiên và tăng cường độ dốc cực lớn là cả hai phương pháp hồi quy phi tuyến tính phổ biến cho các bài toán chiều cao với các tập huấn luyện lớn.

— DeltaIV

Một Matérn hiệp phương sai ma trận với là gần như hội tụ đến một hạt nhân Squared Exponential. $ν=5/2$

Vì vậy, tôi nghĩ rằng cách tiếp cận dựa trên Chức năng cơ sở (RBF) là hoàn hảo trong kịch bản này. Nó rất nhanh, nó hoạt động cho loại chức năng hộp đen mà bạn có, và bạn có thể có được các biện pháp không chắc chắn.

Ngoài ra, bạn có thể sử dụng xấp xỉ điểm cảm ứng cho GP, hãy xem FITC trong tài liệu, nhưng bạn có cùng một vấn đề về nơi chọn điểm cảm ứng.

— phụ trợ
nguồn

Cảm ơn. Tôi biết về RBF nhưng không biết rằng có thể / dễ dàng có được các biện pháp không chắc chắn cho họ (tôi nghĩ rằng sự không chắc chắn của RBF + sẽ quay trở lại GP với hạt nhân SE). Bạn có thể giới thiệu bất kỳ điểm bắt đầu nào để đọc trên RBF và cách tính độ không đảm bảo với chúng không?

— lacerbi

Vâng, về cơ bản là hồi quy tuyến tính Bayes sử dụng các hàm cơ bản. Và bạn có thể chọn các hàm cơ bản là các hàm Gaussian. Vì vậy, bạn chỉ cần gán các mục sư cho các tham số và bạn sẽ nhận được phân phối sau. Thực hiện theo các bước trong cuốn sách "Nhận dạng mẫu" của Đức cha, chương 6.4.1. Tôi cũng thấy từ hồ sơ của bạn rằng chúng tôi có rất nhiều lợi ích chung! Có thể rất tốt để giữ liên lạc :-) Tôi rất vui được giúp đỡ khi tôi có thể.

— phụ trợ

Tôi đã xem Chương 6.4.1. Làm thế nào là khác nhau / nhanh hơn so với GP? Tôi hiểu rằng để đào tạo có lẽ tôi chỉ có thể giảm thiểu tổn thất thông qua LBFGS (và có lẽ còn có các phương pháp thông minh hơn). Điều này theo tôi hiểu tại sao RBF nhanh hơn để phù hợp hơn GP (nút cổ chai cho GP là đảo ngược ma trận). Nhưng để tính toán sự không chắc chắn tiên đoán tôi cần phải điều kiện vào các điểm quan sát được - sẽ không này đòi hỏi một đảo ngược của một -by- ma trận? ( số điểm đào tạo)

M

$M$

M

$M$

M

$M$

— lacerbi

Xin lỗi, có lẽ tôi nên nói rằng hãy xem Hồi quy tuyến tính Bayes trong chương 3. Điều bạn nói là chính xác, mô hình hồi quy tuyến tính Bayes tương đương với GP có hàm nhân đặc biệt, vì vậy nếu bạn muốn phương sai của phân phối dự đoán bạn phải đảo ngược ma trận. Bạn có thể làm điều đó một cách thông minh bằng cách giải các hệ phương trình tuyến tính ngược / xuôi.

— phụ trợ