Vẽ các mẫu từ một đối tượng phân phối bình thường nhiều biến đối với các ràng buộc bậc hai

9

Tôi muốn vẽ hiệu quả các mẫu từ theo các ràng buộc mà . $x \in \mathbb{R}^d$ $\mathcal{N}(\mu, \Sigma)$ $||x||_2 = 1$

— Sobi
nguồn

12

Việc giải quyết chính thức vấn đề này trước tiên đòi hỏi một định nghĩa đúng đắn về một

Phân phối " $\mathcal{N}_d(μ,Σ)$ subject theo ràng buộc là $||x||^2=1$ "

Cách tự nhiên là xác định phân phối điều kiện trên . Và để áp dụng điều kiện này cho trường hợp . Nếu chúng tôi sử dụng tọa độ cực , Jacobian của biến đổi là Do đó mật độ có điều kiện của phân phối $X\sim\mathcal{N}_d(μ,Σ)$ $||X||=\varrho$ $\varrho=1$

\begin{aligned} x_{1} & = ϱ \cos (θ_{1}) & θ_{1} \in [0, π] \\ x_{2} & = ϱ \sin (θ_{1}) \cos (θ_{2}) & θ_{2} \in [0, π] \\ ⋮ \\ x_{d - 1} & = ϱ (\prod_{i = 1}^{d - 2} \sin (θ_{i})) \cos (θ_{d - 1}) & θ_{d - 1} \in [0, 2 π] \\ x_{d} & = ϱ \prod_{i = 1}^{d - 1} \sin (θ_{i}) \end{aligned}

$\eqalign{ x_1&=\varrho\cos(\theta_1)\qquad&\theta_1\in[0,\pi]\\ x_2&=\varrho\sin(\theta_1)\cos(\theta_2)\qquad&\theta_2\in[0,\pi]\\ &\vdots\\ x_{d-1}&=\varrho \left( \prod_{i=1}^{d-2}\sin(\theta_i) \right) \cos(\theta_{d-1})\qquad&\theta_{d-1}\in[0,2\pi]\\ x_{d}&=\varrho\prod_{i=1}^{d-1}\sin(\theta_i) }$

ϱ^{d - 1} \prod_{i = 1}^{d - 2} \sin (θ_{i})^{d - 1 - i}

$\varrho^{d-1}\prod_{i=1}^{d-2}\sin(\theta_i)^{d-1-i}$

θ = (θ_{1}, \dots, θ_{d - 1})

$\mathbf{\theta}=(\theta_1,\ldots,\theta_{d-1})$ cho là

ϱ

$\varrho$

f (θ | ϱ) \propto \exp \frac{- 1}{2} {(x (θ, ϱ) - μ)^{T} Σ^{- 1} (x (θ, ϱ) - μ)} \prod_{i = 1}^{d - 2} \sin (θ_{i})^{d - 1 - i}

$f(\mathbf{\theta}|\varrho) \propto \exp\frac{-1}{2}\left\{(x(\theta,\varrho)-\mu)^T\Sigma^{-1}(x(\theta,\varrho)-\mu) \right\} \prod_{i=1}^{d-2}\sin(\theta_i)^{d-1-i}$

Kết luận: Mật độ này khác với việc đơn giản áp dụng mật độ Bình thường cho một điểm trên quả cầu đơn vị vì Jacobian.

Bước thứ hai là xem xét mật độ mục tiêu và thiết kế thuật toán Monte Carlo chuỗi Markov để khám phá không gian tham số . Nỗ lực đầu tiên của tôi sẽ là một bộ lấy mẫu Gibbs, được khởi tạo tại điểm trên quả cầu gần nhất với , nghĩa là,và tiến hành một góc tại một thời điểm theo cách của Đô thị - trong - Gibbs:

f (θ | ϱ = 1) \propto \exp \frac{- 1}{2} {(x (θ, 1) - μ)^{T} Σ^{- 1} (x (θ, 1) - μ)} \prod_{i = 1}^{d - 2} \sin (θ_{i})^{d - 1 - i}

$f(\mathbf{\theta}|\varrho=1) \propto \exp\frac{-1}{2}\left\{(x(\theta,1)-\mu)^T\Sigma^{-1}(x(\theta,1)-\mu) \right\} \prod_{i=1}^{d-2}\sin(\theta_i)^{d-1-i}$

[0, π]^{d - 2} \times [0, 2 π]

$[0,\pi]^{d-2}\times[0,2\pi]$

μ

$\mu$

μ / | | μ | |

$\mu/||\mu||$

Tạo (trong đó tổng được tính modulo ) và chấp nhận giá trị mới này với xác suất khác $\theta_1^{(t+1)}\sim\mathcal{U}([\theta_1^{(t)}-\delta_1,\theta_1^{(t)}+\delta_1])$ $\pi$ $\frac{f (θ_{1}^{(t + 1)}, θ_{2}^{(t)}, . . . | ϱ = 1)}{f (θ_{1}^{(t)}, θ_{2}^{(t)}, . . . | ϱ = 1)} \land 1$ $\dfrac{f(\theta_1^{(t+1)},\theta_2^{(t)},...|\varrho=1)}{f(\theta_1^{(t)},\theta_2^{(t)},...|\varrho=1)}\wedge 1$ $\theta_1^{(t+1)}=\theta_1^{(t)}$
Tạo (trong đó tổng được tính modulo ) và chấp nhận giá trị mới này với xác suất khác $\theta_2^{(t+1)}\sim\mathcal{U}([\theta_2^{(t)}-\delta_2,\theta_2^{(t)}+\delta_2])$ $\pi$ $\frac{f (θ_{1}^{(t + 1)}, θ_{2}^{(t + 1)}, θ_{3}^{(t)}, . . . | ϱ = 1)}{f (θ_{1}^{(t + 1)}, θ_{2}^{(t)}, θ_{3}^{(t)}, . . . | ϱ = 1)} \land 1$ $\dfrac{f(\theta_1^{(t+1)},\theta_2^{(t+1)},\theta_3^{(t)},...|\varrho=1)}{f(\theta_1^{(t+1)},\theta_2^{(t)},\theta_3^{(t)},...|\varrho=1)}\wedge 1$ $\theta_2^{(t+1)}=\theta_2^{(t)}$
$\ldots$
Tạo (trong đó tổng được tính modulo ) và chấp nhận giá trị mới này với xác suất khác $\theta_{d-1}^{(t+1)}\sim\mathcal{U}([\theta_{d-1}^{(t)}-\delta_{d-1},\theta_{d-1}^{(t)}+\delta_{d-1}])$ $2\pi$ $\frac{f (θ_{1}^{(t + 1)}, θ_{2}^{(t + 1)}, . . ., θ_{d - 1}^{(t + 1)} | ϱ = 1)}{f (θ_{1}^{(t + 1)}, θ_{2}^{(t + 1)}, . . ., θ_{d - 1}^{(t)} | ϱ = 1)} \land 1$ $\dfrac{f(\theta_1^{(t+1)},\theta_2^{(t+1)},...,\theta_{d-1}^{(t+1)}|\varrho=1)}{f(\theta_1^{(t+1)},\theta_2^{(t+1)},...,\theta_{d-1}^{(t)}| \varrho=1)}\wedge 1$ $\theta_{d-1}^{(t+1)}=\theta_{d-1}^{(t)}$

Các thang đo , , , có thể được thu nhỏ theo tỷ lệ chấp nhận của các bước, hướng tới mục tiêu lý tưởng là . $\delta_1$ $\delta_2$ $\ldots$ $\delta_{d-1}$ $50\%$

Dưới đây là mã R để minh họa ở trên, với các giá trị mặc định cho và : $\mu$ $\Sigma$

library(mvtnorm)
d=4
target=function(the,mu=1:d,sigma=diag(1/(1:d))){
 carte=cos(the[1])
 for (i in 2:(d-1))
  carte=c(carte,prod(sin(the[1:(i-1)]))*cos(the[i]))
 carte=c(carte,prod(sin(the[1:(d-1)])))
 prod(sin(the)^((d-2):0))*dmvnorm(carte,mean=mu,sigma=sigma)}
#Gibbs
T=1e4
#starting point
mu=(1:d)
mup=mu/sqrt(sum(mu^2))
mut=acos(mup[1])
for (i in 2:(d-1))
  mut=c(mut,acos(mup[i]/prod(sin(mut))))
thes=matrix(mut,nrow=T,ncol=d-1,byrow=TRUE)
delta=rep(pi/2,d-1)     #scale
past=target(thes[1,])   #current target
for (t in 2:T){
 thes[t,]=thes[t-1,]
 for (j in 1:(d-1)){
   prop=thes[t,]
   prop[j]=prop[j]+runif(1,-delta[j],delta[j])
   prop[j]=prop[j]%%(2*pi-(j<d-1)*pi)
   prof=target(prop)
   if (runif(1)<prof/past){
     past=prof;thes[t,]=prop}
   }
}

— Tây An
nguồn

-3

$||x||_2^2=1$ không hoàn toàn có thể vì là biến ngẫu nhiên (liên tục). Nếu bạn muốn nó có phương sai bằng 1, tức là (trong đó dấu ngã có nghĩa là chúng ta ước tính phương sai), sau đó bạn sẽ cần yêu cầu phương sai của nó là . Tuy nhiên, nhu cầu này có thể xung đột với . Nghĩa là, để lấy các mẫu có phương sai này, bạn cần đường chéo của bằng với . $x$ $E[(x-\mu)^2]\tilde{=} \frac{1}{n}\sum (x-\mu)^2=\frac{1}{n} ||x-n||_2^2=\frac{1}{n}$ $\frac{1}{n}$ $\Sigma$ $\Sigma$ $\frac{1}{n}$

Để lấy mẫu phân phối này nói chung, bạn có thể tạo các quy tắc chuẩn iid và sau đó nhân với , căn bậc hai của , sau đó thêm phương tiện . $\Sigma^{0.5}$ $\Sigma$ $\mu$

— yoki
nguồn

Cám ơn phản hồi của bạn. Một cách tôi có thể nghĩ rằng sẽ tạo ra những gì tôi muốn (nhưng không hiệu quả) là lấy mẫu từ chối . Vì vậy, nó không phải là không thể làm điều đó. Nhưng tôi đang tìm kiếm một cách hiệu quả để làm điều đó.

— Sobi