Mô phỏng hậu thế của một quá trình Gaussian

Lần đầu tiên (xin lỗi / lỗi) tôi đã xem qua các quy trình của Gaussian , và cụ thể hơn, đã xem video này của Nando de Freitas . Các ghi chú có sẵn trực tuyến ở đây .

Tại một số điểm, anh ta rút ra mẫu ngẫu nhiên từ một thông thường đa biến được tạo bằng cách xây dựng ma trận hiệp phương sai dựa trên nhân Gaussian (hàm mũ của khoảng cách bình phương trong trục ). Các mẫu ngẫu nhiên này tạo thành các lô mịn trước đó trở nên ít lan truyền hơn khi dữ liệu có sẵn. Cuối cùng, mục tiêu là dự đoán bằng cách sửa đổi ma trận hiệp phương sai và thu được phân phối Gaussian có điều kiện tại các điểm quan tâm. $10$ $x$

Toàn bộ mã có sẵn tại một bản tóm tắt xuất sắc của Kinda Bailey tại đây , đến lượt nó ghi nhận một kho lưu trữ mã của Nando de Freitas tại đây . Tôi đã đăng nó mã Python ở đây để thuận tiện.

Nó bắt đầu với (thay vì ở trên) các chức năng trước đó và giới thiệu một "tham số điều chỉnh". $3$ $10$

Tôi đã dịch mã sang Python và [R] , bao gồm các lô:

Đây là đoạn mã đầu tiên trong [R] và biểu đồ kết quả của ba đường cong ngẫu nhiên được tạo thông qua nhân Gaussian dựa trên độ gần của các giá trị trong tập kiểm tra: $x$

Đoạn mã thứ hai của mã R là hairier và bắt đầu bằng cách mô phỏng bốn điểm dữ liệu huấn luyện, điều này cuối cùng sẽ giúp thu hẹp sự lây lan giữa các đường cong có thể (trước) xung quanh các khu vực nơi các điểm dữ liệu đào tạo này nằm. Mô phỏng giá trị cho các điểm dữ liệu này là hàm . Chúng ta có thể thấy "thắt chặt các đường cong xung quanh các điểm": $y$ $\text{sin}()$

Đoạn thứ ba của mã R liên quan đến việc vẽ đường cong của các giá trị ước tính trung bình (tương đương với đường hồi quy), tương ứng với giá trị (xem tính toán bên dưới) và khoảng tin cậy của chúng: $50$ ${\bf\mu}$

HỎI: Tôi muốn yêu cầu một lời giải thích về các hoạt động diễn ra khi đi từ GP trước đến sau.

Cụ thể, tôi muốn hiểu phần này của mã R (trong đoạn thứ hai) để lấy phương tiện và sd:

# Apply the kernel function to our training points (5 points):

K_train = kernel(Xtrain, Xtrain, param)                          #[5 x 5] matrix

Ch_train = chol(K_train + 0.00005 * diag(length(Xtrain)))        #[5 x 5] matrix

# Compute the mean at our test points:

K_trte = kernel(Xtrain, Xtest, param)                            #[5 x 50] matrix
core = solve(Ch_train) %*% K_trte                                #[5 x 50] matrix
temp = solve(Ch_train) %*% ytrain                                #[5 x 1] matrix
mu = t(core) %*% temp                                            #[50 x 1] matrix

Có hai hạt nhân (một trong các tàu ( ) v. Train ( ), hãy gọi nó là , với Cholesky ( ), , tô màu cam cho tất cả các Cholesky từ đây trở đi, và thử nghiệm thứ hai của tàu ( ) v ( ) , hãy gọi nó là ) và để tạo ra các phương tiện ước tính cho điểm trong thử nghiệm, thao tác là: $\bf a$ $\bf a$ K_train $\bf \Sigma_{aa}$ Ch_train $\bf \color{orange}{L_{aa}}$ $\bf a$ $\bf e$ K_trte $\bf \Sigma_{ae}$ $\hat \mu$ $50$

\begin{aligned} (Eq.1) & \hat{μ} & = {[\underset{[5 \times 5]}{{L_{a a}}^{- 1}} \underset{[5 \times 50]}{Σ_{a e}}]}^{T} \underset{[5 \times 5]}{{L_{a a}}^{- 1}} \underset{[5 \times 1]}{y_{t r}} \\ dimensions = [50 \times 1] \end{aligned}

$\begin{align} {\bf \hat \mu}&={\bf \left [ \underset{\color{blue}{[5 \times 5]}} {\color{orange}{L_{aa}}^{-1}}\, \, \, \underset{\color{blue}{[5 \times 50]}}{\Sigma_{ae}} \right ]^T \, \underset{\color{blue}{[5 \times 5]}}{\color{orange}{L_{aa}}^{-1}} \, \underset{\color{blue}{[5 \times 1]}}{y_{tr}}}\bf\tag{Eq.1}\\ &\text{dimensions}=\color{red}{\left[50 \times 1\right]} \end{align}$

# Compute the standard deviation:

tempor = colSums(core^2)                                          #[50 x 1] matrix

# Notice that all.equal(diag(t(core) %*% core), colSums(core^2)) TRUE

s2 = diag(K_test) - tempor                                        #[50 x 1] matrix
stdv = sqrt(s2)                                                   #[50 x 1] matrix

\begin{aligned} (Eq.2) & \hat{var} & = diag (Σ_{e e}) - diag [{[\underset{[5 \times 5]}{{L_{a a}}^{- 1}} \underset{[5 \times 50]}{Σ_{a e}}]}^{T} [\underset{[5 \times 5]}{{L_{a a}}^{- 1}} \underset{[5 \times 50]}{Σ_{a e}}]] \\ = d [\begin{matrix} 1 & \dots \\ 1 \\ ⋱ \\ \dots & 1 \\ \dots & 1 \end{matrix}] - d [{[\underset{[5 \times 5]}{{L_{a a}}^{- 1}} \underset{[5 \times 50]}{Σ_{a e}}]}^{T} [\underset{[5 \times 5]}{{L_{a a}}^{- 1}} \underset{[5 \times 50]}{Σ_{a e}}]] \\ dimensions = [50 \times 1] \end{aligned}

$\begin{align} {\bf \hat{\text{var}}}&=\text{diag}\left({\bf \Sigma_{ee}}\right)-\text{diag} \left[\bf \left[ \underset{\color{blue}{[5 \times 5]}} {\color{orange}{L_{aa}}^{-1}}\, \, \, \underset{\color{blue}{[5 \times 50]}}{\Sigma_{ae}} \right]^T \left[ \underset{\color{blue}{[5 \times 5]}} {\color{orange}{L_{aa}}^{-1}}\, \, \, \underset{\color{blue}{[5 \times 50]}}{\Sigma_{ae}} \right] \right] \bf \tag{ Eq.2} \\ &=\text{d}\small{\begin{bmatrix}1&&\dots&\\&1\\&&\ddots\\&&\dots&1&\\ &&&\dots&1\end{bmatrix}}-\bf \text{d} \left[ \left[ \underset{\color{blue}{[5 \times 5]}} {\color{orange}{L_{aa}}^{-1}}\, \, \, \underset{\color{blue}{[5 \times 50]}}{\Sigma_{ae}} \right]^T \left[ \underset{\color{blue}{[5 \times 5]}} {\color{orange}{L_{aa}}^{-1}}\, \, \, \underset{\color{blue}{[5 \times 50]}}{\Sigma_{ae}} \right] \right]\\ &\text{dimensions} = \color{red}{\left[50 \times 1\right]} \end{align}$

Cái này hoạt động ra sao?

Cũng không rõ ràng, là phép tính cho các vạch màu (Posterior GP) trong âm mưu " Ba mẫu từ GP sau " ở trên, trong đó Cholesky của các bộ kiểm tra và huấn luyện dường như kết hợp với nhau để tạo ra các giá trị thông thường, cuối cùng được thêm vào : $\hat \mu$

Ch_post_gener = chol(K_test + 1e-6 * diag(n) - (t(core) %*% core))
m_prime = matrix(rnorm(n * 3), ncol = 3)
sam = Ch_post_gener %*% m_prime
f_post = as.vector(mu) + sam

\begin{aligned} (Eq.3) & f_{post} & = \hat{μ} + [\underset{[50 \times 50]}{L_{e e}} - [{[\underset{[5 \times 5]}{{L_{a a}}^{- 1}} \underset{[5 \times 50]}{Σ_{a e}}]}^{T} [\underset{[5 \times 5]}{{L_{a a}}^{- 1}} \underset{[5 \times 50]}{Σ_{a e}}]]] [\underset{[50 \times 3]}{N (0, 1)}] \\ dimensions = [50 \times 3] \end{aligned}

$\begin{align} f_{\text{post}}&=\bf \hat \mu +\small \left[ \underset{\color{blue}{[50 \times 50]}} {\color{orange}{L_{ee}}}\, \, \, - \left[ \left[ \underset{\color{blue}{[5 \times 5]}} {\color{orange}{L_{aa}}^{-1}}\, \, \, \underset{\color{blue}{[5 \times 50]}}{\Sigma_{ae}} \right]^T \left[ \underset{\color{blue}{[5 \times 5]}} {\color{orange}{L_{aa}}^{-1}}\, \, \, \underset{\color{blue}{[5 \times 50]}}{\Sigma_{ae}} \right] \right] \right] \left[\underset{\color{green}{[50 \times 3]}}{\mathscr N(0,1)}\right]\tag{Eq.3} \\ &\text{dimensions}= \color{red}{\left[50 \times 3\right]} \end{align}$

— Antoni Parellada
nguồn

Trong âm mưu cuối cùng, không nên đặt khoảng tin cậy "nhúm" tại các điểm đã biết?

— GeoMatt22

@ GeoMatt22 Họ làm gì, bạn không nghĩ sao?

— Antoni Parellada

Khi được cung cấp một tập kiểm tra, , các giá trị dự kiến sẽ được tính toán dựa trên phân phối có điều kiện của giá trị của hàm cho các điểm dữ liệu mới này, với các điểm dữ liệu trong tập huấn luyện, . Ý tưởng được đưa ra trong video là chúng ta sẽ có một bản phân phối chung của và (trong bài giảng được biểu thị bằng dấu hoa thị, ) có dạng: $e$ $a$ $a$ $e$ $*$

[\begin{matrix} a \\ e \end{matrix}] \sim N ([\begin{matrix} μ_{a} \\ μ_{e} \end{matrix}], [\begin{matrix} Σ_{a a} & Σ_{a e} \\ {Σ_{a e}}^{T} & Σ_{e e} \end{matrix}])

${\bf\begin{bmatrix} a\\ \bf e\end{bmatrix}}\sim \mathscr N\left( \begin{bmatrix}\bf \mu_a\\\mu_e \end{bmatrix}\,,\begin{bmatrix}\bf \Sigma_{aa}&\bf \Sigma_{ae} \\ {\bf \Sigma_{ae}}^T & \bf \Sigma_{ee}\end{bmatrix}\right)$ .

Điều kiện của phân phối Gaussian đa biến có trung bình . Bây giờ, xem xét rằng hàng đầu tiên của ma trận khối của hiệp phương sai ở trên là cho , nhưng chỉ cho , sẽ được chuyển đổi cần thiết để làm cho các ma trận phù hợp trong: $E({\bf x}_1 | {\bf x}_2)= {\boldsymbol \mu}_1 + \Sigma_{12} \Sigma^{-1}_{22} ({\bf x}_2- {\boldsymbol \mu}_2)$ $[50 \times 50]$ $\bf \Sigma_{aa}$ $[50 \times 5]$ $\bf \Sigma_{ae}$

E (e | a) = μ_{e} + {Σ_{a e}}^{T} {Σ_{a a}}^{- 1} (y - μ_{a})

$E ({\bf e\vert a}) = {\bf \mu_e} + {\bf \Sigma_{ae}}^T {\bf \Sigma_{aa}}^{-1}\,\left ({\bf y}-{\bf \mu_{a}}\right)$ Vì mô hình được lên kế hoạch với , công thức đơn giản hóa thành :

μ_{a} = μ_{e} = 0

${\bf \mu_{a}} = {\bf \mu_{e}}=0$

E (e | a) = {Σ_{a e}}^{T} {Σ_{a a}}^{- 1} y_{t r}

$E ({\bf e\vert a}) = {\bf \Sigma_{ae}}^T {\bf \Sigma_{aa}}^{-1}\,{\bf y_{tr}}$

Nhập phân tách Cholesky (một lần nữa tôi sẽ mã màu cam như trong OP):

\begin{aligned} E (e | a) & = {Σ_{a e}}^{T} \underset{< - - α - - >}{{Σ_{a a}}^{- 1} y_{t r}} \\ = {Σ_{a e}}^{T} {(L_{a a} L_{a a}^{T})}^{- 1} y_{t r} \\ = {Σ_{a e}}^{T} L_{a a}^{- T} L_{a a}^{- 1} y_{t r} \\ (*) & = {Σ_{a e}}^{T} L_{a a}^{- T} \underset{< - m - >}{L_{a a}^{- 1} y_{t r}} \end{aligned}

$\begin{align*} E ({\bf e\vert a}) &= {\bf \Sigma_{ae}}^T\,\, \,\underset{\color{gray}{<--\alpha-->}}{{\bf \Sigma_{aa}}^{-1}\,{\bf y_{tr}}}\\ &={\bf \Sigma_{ae}}^T {\bf \color{orange}{(L_{aa}L_{aa}^T)}}^{-1}\,{\bf y_{tr}}\\ &= {\bf \Sigma_{ae}}^T {\bf \color{orange}{L_{aa}^{-T}L_{aa}^{-1}}}\,{\bf y_{tr}}\\ &= {\bf \Sigma_{ae}}^T {\bf \color{orange}{L_{aa}^{-T}}\,\,\,\,\,\, \underset {\color{gray}{ <-m->}}{\color{orange}{L_{aa}^{-1}}{\bf y_{tr}}}} \tag {*} \end{align*}$

Nếu , thì và chúng tôi kết thúc với một hệ thống tuyến tính mà chúng tôi có thể giải quyết, thu được . Đây là slide chính trong bản trình bày gốc: $\bf m =\color{orange}{{\bf L_{aa}}^{-1}}\,{\bf y_{tr}}$ $\color{orange}{\bf L_{aa}} \bf m= {\bf y_{tr}}$ $\bf m$

Vì , Eq. (*) tương đương với phương trình (1) trong OP: $\bf B^T A^T = (A\,B)^T$

\begin{aligned} \hat{μ} & = {[\underset{[5 \times 5]}{{L_{a a}}^{- 1}} \underset{[5 \times 50]}{Σ_{a e}}]}^{T} \underset{[5 \times 5]}{{L_{a a}}^{- 1}} \underset{[5 \times 1]}{y_{t r}} \\ = (Σ_{a e}^{T} L_{a a}^{- T}) (L_{a a}^{- 1} y_{t r}) \\ dimensions = [50 \times 1] \end{aligned}

$\begin{align} {\bf \hat \mu}&={\bf \left [ \underset{\color{blue}{[5 \times 5]}} {\color{orange}{L_{aa}}^{-1}}\, \, \, \underset{\color{blue}{[5 \times 50]}}{\Sigma_{ae}} \right ]^T \, \underset{\color{blue}{[5 \times 5]}}{\color{orange}{L_{aa}}^{-1}} \, \underset{\color{blue}{[5 \times 1]}}{y_{tr}}}\\ &=\bf \left( \Sigma_{ae}^T \color{orange}{ L_{aa}^{-T}} \right) \left(\color{orange}{ L_{aa}^{-1}}\, y_{tr} \right)\\ &\text{dimensions} = \color{red}{\left[50 \times 1\right]} \end{align}$

cho rằng

{[\underset{[5 \times 5]}{{L_{a a}}^{- 1}} \underset{[5 \times 50]}{Σ_{a e}}]}^{T} = {\underset{[50 \times 5]}{Σ_{a e}}}^{T} \underset{[5 \times 5]}{{L_{a a}}^{- 1 T}}

$\bf \left [ \underset{\color{blue}{[5 \times 5]}} {\color{orange}{L_{aa}}^{-1}}\, \, \, \underset{\color{blue}{[5 \times 50]}}{\Sigma_{ae}} \right ]^T = \underset{\color{blue}{[50 \times 5]}}{\Sigma_{ae}}^T \underset{\color{blue}{[5 \times 5]}} {\color{orange}{L_{aa}}^{-1T}}\, \, \,$

Lý luận tương tự sẽ được áp dụng cho phương sai, bắt đầu bằng công thức cho phương sai có điều kiện trong một Gaussian đa biến:

v a r (x_{1} | x_{2}) = Σ_{11} - Σ_{12} Σ_{22}^{- 1} Σ_{21}

${\rm var}({\bf x}_1|{\bf x}_2)= \Sigma_{11} -\Sigma_{12}\Sigma^{-1}_{22}\Sigma_{21}$

mà trong trường hợp của chúng tôi sẽ là:

\begin{aligned} {var}_{{\hat{μ}}_{e}} & = Σ_{e e} - Σ_{a e}^{T} Σ_{a a}^{- 1} Σ_{a e} \\ = Σ_{e e} - Σ_{a e}^{T} {[L_{a a} L_{a a}^{T}]}^{- 1} Σ_{a e} \\ = Σ_{e e} - Σ_{a e}^{T} {[L_{a a}^{- 1}]}^{T} L_{a a}^{- 1} Σ_{a e} \\ = Σ_{e e} - {[L_{a a}^{- 1} Σ_{a e}]}^{T} L_{a a}^{- 1} Σ_{a e} \end{aligned}

$\begin{align*} \bf \text{var}_{\hat\mu_{\bf e}} &= \bf \Sigma_{ee} - \Sigma_{ae}^T\Sigma_{aa}^{-1}\Sigma_{ae}\\ &= \bf \Sigma_{ee} - \Sigma_{ae}^T \left[ L_{aa}L_{aa}^T\right]^{-1}\Sigma_{ae}\\ &= \bf \Sigma_{ee} - \Sigma_{ae}^T \left[ L_{aa}^{-1}\right]^TL_{aa}^{-1}\Sigma_{ae}\\ &= \bf \Sigma_{ee} - \left[ L_{aa}^{-1} \Sigma_{ae}\right]^T L_{aa}^{-1}\Sigma_{ae} \end{align*}$

và đến phương trình (2):

\begin{aligned} {var}_{{\hat{μ}}_{e}} & = d [K_{e e} - {[\underset{[5 \times 5]}{{L_{a a}}^{- 1}} \underset{[5 \times 50]}{Σ_{a e}}]}^{T} [\underset{[5 \times 5]}{{L_{a a}}^{- 1}} \underset{[5 \times 50]}{Σ_{a e}}]] \\ dimensions = [50 \times 1] \end{aligned}

$\begin{align} \text{var}_{\hat\mu_{\bf e}}&=\text{d}\left[ \bf K_{ee} - \left[ \underset{\color{blue}{[5 \times 5]}} {\color{orange}{L_{aa}}^{-1}}\, \, \, \underset{\color{blue}{[5 \times 50]}}{\Sigma_{ae}} \right]^T \left[ \underset{\color{blue}{[5 \times 5]}} {\color{orange}{L_{aa}}^{-1}}\, \, \, \underset{\color{blue}{[5 \times 50]}}{\Sigma_{ae}} \right] \right]\\ &\text{dimensions}=\color{red}{\left[50 \times 1\right]} \end{align}$

Chúng ta có thể thấy rằng Phương trình (3) trong OP là cách tạo đường cong ngẫu nhiên sau có điều kiện trên dữ liệu (tập huấn luyện) và sử dụng dạng Cholesky để tạo ra ba lần rút ngẫu nhiên thông thường nhiều biến số :

\begin{aligned} f_{post} & = \hat{μ} + [{var}_{{\hat{μ}}_{e}}] [rnorm \sim (0, 1)] \\ = \hat{μ} + [\underset{[50 \times 50]}{L_{e e}} - [{[\underset{[5 \times 5]}{{L_{a a}}^{- 1}} \underset{[5 \times 50]}{Σ_{a e}}]}^{T} [\underset{[5 \times 5]}{{L_{a a}}^{- 1}} \underset{[5 \times 50]}{Σ_{a e}}]]] [\underset{[50 \times 3]}{rand.norm's}] \\ dimensions = [50 \times 3] \end{aligned}

$\begin{align} f_{\text{post}} &= {\bf \hat \mu} + \left[ \text{var}_{\hat\mu_{\bf e}}\right][\text{rnorm}\sim (0,1)]\\ &=\bf \hat \mu + \left[ \underset{\color{blue}{[50 \times 50]}} {\color{orange}{L_{ee}}}\, \, \, - \left[ \left[ \underset{\color{blue}{[5 \times 5]}} {\color{orange}{L_{aa}}^{-1}}\, \, \, \underset{\color{blue}{[5 \times 50]}}{\Sigma_{ae}} \right]^T \left[ \underset{\color{blue}{[5 \times 5]}} {\color{orange}{L_{aa}}^{-1}}\, \, \, \underset{\color{blue}{[5 \times 50]}}{\Sigma_{ae}} \right] \right] \right] \left[\underset{\color{green}{[50 \times 3]}}{\text{rand.norm's}}\right]\\ &\text{dimensions}= \color{red}{\left[50 \times 3\right]} \end{align}$

— Antoni Parellada
nguồn

Đây là từ một cuốn sách hoặc giấy? Bạn có một cách mạnh mẽ để tính toán trung bình và phương sai có điều kiện khi ma trận hiệp phương sai bị điều hòa (nhưng không xóa hoặc hợp nhất bất kỳ điểm dữ liệu gần như phụ thuộc (gần đó) nào với độ chính xác kép không? Đa độ chính xác trong phần mềm hoạt động, nhưng có độ chậm từ 2,5 đến 3 bậc so với phần cứng Double Precision, do đó, ngay cả thuật toán độ chính xác kép "chậm" cũng sẽ tốt. Tôi không nghĩ Cholesky cắt nó. Tôi không nghĩ ngay cả QR cũng vậy khi ma trận hiệp phương sai rất có điều kiện. Sử dụng backsolves tiêu chuẩn, dường như cần độ chính xác ocutuple.

— Mark L. Stone