Quá trình Gaussian và Tương quan

Tôi đã tự hỏi tại sao mọi người sử dụng các quy trình Gaussian (GP) để mô hình hóa một hàm chưa biết (đôi khi xác định). Ví dụ, hãy xem xét một hàm chưa biết . Chúng tôi có ba quan sát độc lập từ chức năng này: $y=f(x)$

(x_{1}, y_{1}); (x_{2}, y_{2}); (x_{3}, y_{3})

$\big(x_1,y_1); \big(x_2,y_2); \big(x_3,y_3)$

Để tìm hiểu chức năng cơ bản, GP là một kỹ thuật phi tham số phổ biến, coi tất cả các đầu ra là một phân phối chuẩn đa biến chung. Giả sử hàm hiệp phương sai cụ thể và giả sử: GP có dạng sau $K(x_i,y_i)$

y = (y_{1}, y_{2}, y_{3}); X = (x_{1}, x_{2}, x_{3})

$\mathbf{y}=(y_1,y_2,y_3);\mathbf{X}=(x_1,x_2,x_3)$

y | X \sim N (0, [\begin{matrix} K (x_{1}, x_{1}) & K (x_{1}, x_{2}) & K (x_{1}, x_{3}) \\ K (x_{1}, x_{2}) & K (x_{2}, x_{2}) & K (x_{2}, x_{3}) \\ K (x_{1}, x_{3}) & K (x_{2}, x_{3}) & K (x_{3}, x_{3}) \end{matrix}])

$\\ \bf{y}|X \sim N\Bigg(\mathbf{0},\begin{bmatrix} K(x_1,x_1) & K(x_1,x_2) & K(x_1,x_3) \\ K(x_1,x_2) & K(x_2,x_2) & K(x_2,x_3) \\ K(x_1,x_3) & K(x_2,x_3) & K(x_3,x_3) \ \end{bmatrix}\Bigg)\\$

Các quan sát là độc lập. Điểm chung duy nhất của họ là chúng đến từ cùng một chức năng cơ bản. $\big(x_i,y_i)$

Câu hỏi chính của tôi là: Tại sao chúng ta buộc và phải tương quan với nhau? Đó không phải là mô hình sai sao? Tại sao chúng ta có thể giả định rằng chúng ta có thể nhận được kết quả dự đoán tốt cho bất kỳ . $\big(x_i,y_j)$ $\big(x_{l},y_{m})$ $y|x$

Tôi không chắc chắn tôi đang thiếu khía cạnh nào trong vấn đề này và tại sao lại buộc phải tương quan.

— Trí tuệ
nguồn

Chọn một hạt nhân tương đương với việc chọn một lớp các hàm mà bạn sẽ chọn mô hình của mình. Nếu việc chọn kernel cảm thấy như một thứ lớn mã hóa rất nhiều giả định, thì đó là vì nó là vậy! Những người mới tham gia vào lĩnh vực này thường không nghĩ nhiều về việc lựa chọn kernel và chỉ đi với kernel Gaussian ngay cả khi nó không phù hợp.

Làm thế nào để chúng ta quyết định liệu một hạt nhân có vẻ phù hợp hay không? Chúng ta cần suy nghĩ về các chức năng trong không gian chức năng tương ứng trông như thế nào. Hạt nhân Gaussian tương ứng với các hàm rất trơn tru và khi hạt nhân đó được chọn, giả định được thực hiện rằng các hàm trơn sẽ cung cấp một mô hình khá. Điều đó không phải luôn luôn như vậy, và có rất nhiều hạt nhân khác mã hóa các giả định khác nhau về những gì bạn muốn lớp chức năng của bạn trông như thế nào. Có hạt nhân để mô hình hóa các chức năng định kỳ, hạt nhân không cố định, và một loạt các thứ khác. Ví dụ, giả định độ mịn được mã hóa bởi nhân Gaussian không phù hợp để phân loại văn bản, như Charles Martin đã trình bày trong blog của mình ở đây .

Chúng ta hãy xem các ví dụ về các chức năng từ các không gian tương ứng với hai hạt nhân khác nhau. Đầu tiên sẽ là hạt nhân Gaussian và hạt nhân khác sẽ là hạt nhân chuyển động Brown . Một lần rút ngẫu nhiên từ mỗi không gian trông như sau: $k_1(x, x') = \exp(-\gamma |x - x'|^2)$ $k_2(x, x') = \min \{x, x'\}$

Rõ ràng những điều này đại diện cho những giả định rất khác nhau về một mô hình tốt là gì.

Ngoài ra, lưu ý rằng chúng tôi không nhất thiết phải ép buộc tương quan. Lấy hàm trung bình của bạn là và hàm hiệp phương sai của bạn là . Bây giờ mô hình của chúng tôi là tức là chúng ta vừa phục hồi hồi quy tuyến tính. $\mu(x) = x^T \beta$ $k(x_i, x_j) = \sigma^2 \mathbf 1(i = j)$

Y | X \sim N (X β, σ^{2} I)

$Y | X \sim \mathcal N(X\beta, \sigma^2 I)$

Nhưng nhìn chung mối tương quan giữa các điểm lân cận là một mô hình cực kỳ hữu ích và mạnh mẽ. Hãy tưởng tượng rằng bạn sở hữu một công ty khoan dầu và bạn muốn tìm trữ lượng dầu mới. Nó rất tốn kém để khoan vì vậy bạn muốn khoan càng nhiều lần càng tốt. Giả sử chúng ta đã khoan $n=5$ lỗ và chúng tôi muốn biết lỗ tiếp theo của chúng tôi nên ở đâu. Chúng ta có thể tưởng tượng rằng lượng dầu trong vỏ trái đất rất khác nhau, vì vậy chúng ta sẽ mô hình hóa lượng dầu trong toàn bộ khu vực mà chúng ta đang xem xét khoan bằng quy trình Gaussian bằng hạt nhân Gaussian, đó là cách chúng ta nói rằng những nơi thực sự gần sẽ có lượng dầu thực sự tương tự nhau, và những nơi thực sự xa nhau thực sự độc lập. Hạt nhân Gaussian cũng đứng yên, điều này là hợp lý trong trường hợp này: Stationarity nói rằng mối tương quan giữa hai điểm chỉ phụ thuộc vào khoảng cách giữa chúng. Sau đó chúng ta có thể sử dụng mô hình của mình để dự đoán nơi chúng ta nên khoan tiếp theo. Chúng tôi vừa thực hiện một bước duy nhất trong tối ưu hóa Bayesvà tôi thấy đây là một cách rất tốt để đánh giá trực giác tại sao chúng ta thích khía cạnh tương quan của bác sĩ gia đình.

Một nguồn tốt khác là Jones et al. (1998) . Họ không gọi mô hình của họ là một quá trình Gaussian, nhưng nó là. Bài viết này mang lại cảm giác rất tốt về lý do tại sao chúng tôi muốn sử dụng mối tương quan giữa các điểm gần đó ngay cả trong một thiết lập xác định.

Điểm cuối cùng: Tôi không nghĩ có ai từng cho rằng chúng ta có thể có kết quả dự đoán tốt. Đó là điều chúng tôi muốn xác minh, chẳng hạn như bằng xác thực chéo.

Cập nhật

Tôi muốn làm rõ bản chất của mối tương quan mà chúng ta đang mô hình hóa. Trước tiên hãy xem xét hồi quy tuyến tính để . Theo mô hình này, chúng ta có cho . Nhưng chúng ta cũng biết rằng nếu thì $Y | X \sim \mathcal N(X\beta, \sigma^2 I)$ $Y_i \perp Y_j | X$ $i \neq j$ $||x_1 - x_2||^2 < \varepsilon$

(E (Y_{1} | X) - E (Y_{2} | X))^{2} = (x_{1}^{T} β - x_{2}^{T} β)^{2} = ⟨ x_{1} - x_{2}, β ⟩^{2} \leq | | x_{1} - x_{2} | |^{2} | | β | |^{2} < ε | | β | |^{2} .

$(E(Y_1 | X) - E(Y_2 | X))^2 = (x_1^T \beta - x_2^T \beta)^2 = \langle x_1 - x_2, \beta \rangle^2 \leq || x_1 - x_2||^2 ||\beta ||^2 < \varepsilon ||\beta ||^2.$

Vì vậy, điều này cho chúng ta biết rằng nếu đầu vào và rất gần nhau thì phương tiện của và rất gần nhau. Điều này khác với tương quan vì chúng vẫn độc lập, bằng chứng là cách $x_1$ $x_2$ $Y_1$ $Y_2$

P (Y_{1} > E (Y_{1} | X) | Y_{2} > E (Y_{2} | X)) = P (Y_{1} > E (Y_{1} | X)) .

$P(Y_1 > E(Y_1 | X) \ \vert \ Y_2 > E(Y_2 | X)) = P(Y_1 > E(Y_1 | X)).$

Nếu chúng tương quan với nhau thì việc biết rằng vượt quá mức trung bình của nó sẽ cho chúng ta biết điều gì đó về . $Y_2$ $Y_1$

Vì vậy, bây giờ chúng ta hãy giữ nhưng chúng ta sẽ thêm tương quan bằng . Chúng tôi vẫn có kết quả tương tự rằng là nhỏ, nhưng giờ chúng tôi đã đạt được sự thật rằng nếu lớn hơn giá trị trung bình của nó, thì có khả năng cũng sẽ như vậy. Đây là mối tương quan mà chúng tôi đã thêm. $\mu(x) = x^T \beta$ $Cov(Y_i, Y_j) = k(x_i, x_j)$ $||x_1 - x_2||^2 < \varepsilon \implies (E(Y_1 | X) - E(Y_2 | X))^2$ $Y_1$ $Y_2$

— jld
nguồn

Cảm ơn bình luận của bạn. Giải thích của bạn rất hữu ích. Tuy nhiên, câu hỏi của tôi chủ yếu tập trung vào ý tưởng rằng mối tương quan giữa các bộ dữ liệu và không tồn tại trong thực tế. Sau đó, GP buộc một mối tương quan trong phân phối chuẩn nhiều biến số (trừ trường hợp ). Đây có phải là mối tương quan tương tự như của các biến ngẫu nhiên? hoặc được định nghĩa khác nhau vì chúng ta đang mô hình hóa các mối quan hệ chức năng? Là mối tương quan này có thể giải thích? và làm thế nào nó giúp?

(x_{i}, x_{j})

$(x_i,x_j)$

(x_{l}, x_{m})

$(x_l,x_m)$

K = 1 (i = j)

$K=1(i=j)$

— Wis

Ngoài ra chúng ta có thể nói không độc lập với vì chúng đến từ cùng một hàm cơ bản và cả hai đều phụ thuộc vào ? Đây là lý do tại sao nên có mối tương quan. Tôi thực sự đánh giá cao sự giúp đỡ của bạn về những câu hỏi này

y_{i}

$y_i$

y_{j}

$y_j$

x

$x$

— Wis

@ kon7 Tôi đã thêm một bản cập nhật về mối tương quan mà hy vọng sẽ giúp.

— JLD

Cảm ơn bạn rất nhiều, câu trả lời của bạn là tuyệt vời. Tôi đã chấp nhận câu trả lời. Tôi vẫn còn một cuộc điều tra nhỏ. Loại thông tin chúng tôi đã thêm, chúng tôi có thể gọi nó là tương quan, theo ý nghĩa thống kê điển hình của tương quan? Liệu nó có ý nghĩa theo nghĩa tương quan chức năng bởi vì ở đây chúng ta đang xem xét các tuples chứ không phải là các biến ngẫu nhiên

(x_{i}, y_{i})

$\big(x_i,y_i)$

y^{'} s

$y's$

— Wis

@ kon7 này là hoàn toàn theo nghĩa tiêu chuẩn của sự tương quan bởi vì chúng tôi đang làm việc với một ma trận hiệp phương sai . là cách chúng ta tính toán điều này nhưng có tính xác định trong công thức chuẩn và hiệp phương sai duy nhất nằm giữa .

K

$K$

X

$X$

x_{i}

$x_i$

Y_{i}

$Y_i$

— JLD

Nếu và tương tự nhau, nghĩa là lớn, thì và cũng có thể giống nhau. Do đó, sự gần gũi trong không gian đầu vào (của hàm được xấp xỉ) dẫn đến sự gần gũi trong không gian đầu ra. Đây là giả định hợp lý cho nhiều ứng dụng. Ví dụ, nếu hai học sinh có điểm trung bình phổ thông tương tự, họ cũng sẽ có kết quả tương tự trong kỳ thi SAT. $x_i$ $x_l$ $k(x_i, x_l)$ $y_i$ $y_l$

— Hạt giống
nguồn