Phân phối các sản phẩm vô hướng của hai vectơ đơn vị ngẫu nhiên theo kích thước

Nếu $\mathbf{x}$ và $\mathbf{y}$ là hai vectơ đơn vị ngẫu nhiên độc lập trong $\mathbb{R}^D$ (phân bố đồng đều trên một mặt cầu đơn vị), thì phân phối của sản phẩm vô hướng của chúng (sản phẩm chấm) $\mathbf x \cdot \mathbf y$ gì?

$D$

lim_{D \to \infty} σ^{2} (D) \to 0,

$\lim_{D\to\infty}\sigma^2(D) \to 0,$

σ^{2} (D)

$\sigma^2(D)$

Cập nhật

Tôi chạy một số mô phỏng nhanh chóng. Đầu tiên, tạo 10000 cặp vectơ đơn vị ngẫu nhiên cho , dễ dàng nhận thấy rằng việc phân phối các sản phẩm chấm của chúng là Gaussian hoàn hảo (thực tế nó đã khá là Gaussian cho ), hãy xem phần phụ ở bên trái. Thứ hai, với mỗi dao động từ 1 đến 10000 (với các bước tăng dần) tôi đã tạo 1000 cặp và tính toán phương sai. Cốt truyện log-log được hiển thị trên bên phải, và rõ ràng là công thức rất nổi xấp xỉ bằng . Lưu ý rằng với và , công thức này thậm chí còn cho kết quả chính xác (nhưng tôi không chắc điều gì sẽ xảy ra sau này). $D=1000$ $D=100$ $D$ $1/D$ $D=1$ $D=2$

chấm sản phẩm giữa các vectơ đơn vị ngẫu nhiên

mathematical-statistics linear-algebra beta-distribution

— amip nói phục hồi Monica
nguồn

@KarlOskar: cảm ơn bạn, liên kết này rất phù hợp và trên thực tế làm cho câu hỏi của tôi gần như trùng lặp, nhưng không hoàn toàn. Vì vậy, có một công thức rõ ràng cho là hàm phân phối tích lũy của các sản phẩm chấm. Người ta có thể lấy đạo hàm để lấy PDF và sau đó nghiên cứu giới hạn . Tuy nhiên, công thức được đưa ra dưới dạng các hàm beta và các hàm beta không hoàn chỉnh, do đó các tính toán có thể khó chịu.

P {(x, y) > ϵ}

$P\{(\mathbf{x}, \mathbf{y})>\epsilon\}$

D \to \infty

$D\to \infty$

— amip nói rằng Phục hồi lại

@KarlOskar: từ phân bố đồng đều trên một quả cầu đơn vị trong . Để tạo một vectơ ngẫu nhiên từ phân phối này, người ta có thể tạo một vectơ ngẫu nhiên từ một Gaussian với phương sai đơn vị, và sau đó chuẩn hóa nó.

R^{D}

$\mathbb{R}^D$

— amip nói phục hồi Monica

Câu trả lời:

Bởi vì ( như được nổi tiếng ) một phân bố đều trên cầu đơn vị thu được bằng cách bình thường hóa một -variate phân phối bình thường và dấu chấm sản phẩm của vectơ bình thường là hệ số tương quan của họ, câu trả lời cho ba câu hỏi là: $S^{D-1}$ $D$ $t$

$u= (t+1)/2$ có phân phối Beta . $((D-1)/2,(D-1)/2)$
Phương sai của bằng (như được suy đoán trong câu hỏi). $t$ $1/D$
Phân phối chuẩn hóa của tiếp cận tính quy tắc với tỷ lệ $t$ $O\left(\frac{1}{D}\right).$

phương pháp

Các chính xác phân phối các sản phẩm chấm của vectơ đơn vị có thể dễ dàng thu được về mặt hình học, vì đây là thành phần của vector thứ hai trong sự chỉ đạo của người đầu tiên. Do vectơ thứ hai độc lập với vectơ thứ nhất và được phân bố đồng đều trên mặt cầu đơn vị, nên thành phần của nó theo hướng thứ nhất được phân phối giống như bất kỳ tọa độ nào của hình cầu. (Lưu ý rằng phân phối của vectơ đầu tiên không quan trọng.)

Tìm mật độ

Do đó tọa độ là cuối cùng, mật độ tại do đó tỷ lệ với diện tích bề mặt nằm ở độ cao giữa và $t \in [-1,1]$ $t$ trên quả cầu đơn vị. Tỷ lệ xảy ra trong vòng một vành đai của chiều cao và bán kính $t+dt$ $dt$ trong đó chủ yếu là mộthình cụt nónxây dựng trên một bán kính $\sqrt{1-t^2},$ $S^{D-2}$ chiều caovà độ dốc. Xác suất tỷ lệ thuận với $\sqrt{1-t^2},$ $dt$ $1/\sqrt{1-t^2}$

\frac{{(\sqrt{1 - t^{2}})}^{D - 2}}{\sqrt{1 - t^{2}}} d t = (1 - t^{2})^{(D - 3) / 2} d t .

$\frac{\left(\sqrt{1 - t^2}\right)^{D-2}}{\sqrt{1 - t^2}}\,dt = (1 - t^2)^{(D-3)/2} dt.$

Để đòi hỏi . Việc thay thế vào phần trước cho phần tử xác suất lên đến hằng số chuẩn hóa: $u=(t+1)/2 \in [0,1]$ $t = 2u-1$

f_{D} (u) d u \propto (1 - (2 u - 1)^{2})^{(D - 3) / 2} d (2 u - 1) = 2^{D - 2} (u - u^{2})^{(D - 3) / 2} d u .

$f_D(u)du \; \propto \; (1 - (2u-1)^2)^{(D-3)/2} d(2u-1) = 2^{D-2}(u-u^2)^{(D-3)/2}du.$

Ngay lập tức rằng có phân phối Beta , bởi vì (theo định nghĩa) mật độ của nó cũng tỷ lệ thuận với $u=(t+1)/2$ $((D-1)/2, (D-1)/2)$

u^{(D - 1) / 2 - 1} {(1 - u)}^{(D - 1) / 2 - 1} = (u - u^{2})^{(D - 3) / 2} \propto f_{D} (u) .

$u^{(D-1)/2-1}\left(1-u\right)^{(D-1)/2-1} = (u-u^2)^{(D-3)/2} \; \propto \; f_D(u).$

Xác định hành vi giới hạn

Thông tin về hành vi giới hạn dễ dàng theo sau bằng cách sử dụng các kỹ thuật cơ bản: có thể được tích hợp để có được hằng số tỷ lệ ; có thể được tích hợp (ví dụ sử dụng các thuộc tính của các hàm Beta) để có được các khoảnh khắc, cho thấy phương sai là và co lại thành (theo định lý của , xác suất đang trở nên tập trung gần ); và phân phối giới hạn sau đó được tìm thấy bằng cách xem xét các giá trị mật độ của phân phối được tiêu chuẩn hóa, tỷ lệ với cho các giá trị nhỏ của $f_D$ $\frac{\Gamma \left(\frac{n}{2}\right)}{\sqrt{\pi } \Gamma \left(\frac{D-1}{2}\right)}$ $t^k f_D(t)$ $1/D$ $0$ $t=0$ $f_D(t/\sqrt{D}),$ $t$ :

\begin{aligned} \log (f_{D} (t / \sqrt{D})) & = C (D) + \frac{D - 3}{2} \log (1 - \frac{t^{2}}{D}) \\ = C (D) - (1 / 2 + \frac{3}{2 D}) t^{2} + O (\frac{t^{4}}{D}) \\ \to C - \frac{1}{2} t^{2} \end{aligned}

$\eqalign{ \log(f_D(t/\sqrt{D})) &= C(D) + \frac{D-3}{2}\log\left(1 - \frac{t^2}{D}\right) \\ &=C(D) -\left(1/2 + \frac{3}{2D}\right)t^2 + O\left(\frac{t^4}{D}\right) \\ &\to C -\frac{1}{2}t^2 }$

trong đó các hằng số đại diện (log) của tích hợp. Rõ ràng tốc độ mà điều này tiếp cận tính quy phạm (trong đó mật độ nhật ký bằng ) là $C$ $-\frac{1}{2}t^2$ $O\left(\frac{1}{D}\right).$

Nhân vật

Biểu đồ này cho thấy mật độ của sản phẩm chấm cho , được chuẩn hóa theo phương sai đơn vị và mật độ giới hạn của chúng. Các giá trị tại tăng với (từ màu xanh lam qua màu đỏ, vàng và sau đó là màu xanh lục cho mật độ chuẩn thông thường). Mật độ cho sẽ không thể phân biệt được với mật độ thông thường ở độ phân giải này. $D=4, 6, 10$ $0$ $D$ $D=1000$

— whuber
nguồn

(+1) Cảm ơn bạn rất nhiều, @whuber, đây là một câu trả lời tuyệt vời! Cảm ơn đặc biệt vì đã đề cập đến từ "bực bội". Thực tế là tôi đã chấp nhận một câu trả lời khác chỉ vài phút trước khi bạn đăng bài của bạn và tôi không muốn chấp nhận nó ngay bây giờ; mong là bạn hiểu. Đáng tiếc là không thể chấp nhận cả hai! Nhân tiện, lưu ý một bằng chứng rất đơn giản về biểu thức cho phương sai từ câu trả lời đó: người ta có thể nhìn thấy nó trực tiếp mà không phải loay hoay với các chức năng beta! Phương sai của sản phẩm chấm bằng với phương sai của bất kỳ tọa độ hình cầu nào (như bạn đã viết) và tổng của tất cả trong số chúng phải là , QED

1 / D

$1/D$

D

$D$

1

$1$

— amoeba nói Phục hồi lại

Đó là một quan sát tốt đẹp về phương sai.

— whuber

@amoeba, hoạt động gần đây cũng khiến tôi chú ý ở đây một lần nữa, và như tôi đánh giá cao rằng bạn đã chấp nhận câu trả lời của tôi, thì hoạt động này đầy đủ hơn rất nhiều. Tôi sẽ không phiền nếu bạn thay đổi.

— ekvall 14/03/2015

@ Student001: đây là một nhận xét công bằng và hào phóng. Tôi chuyển câu trả lời được chấp nhận. Tôi cũng đã tìm thấy một Q và một A của bạn để upvote để bù đắp cho nó :)

— amip nói rằng Tái lập Monica

@mat Phân phối của là của . Điều đó làm cho nó trở thành bản phân phối Beta đã được thu nhỏ và chuyển từ khoảng sang khoảng .

t

$t$

2 U - 1

$2U-1$

[0, 1]

$[0,1]$

[- 1, 1]

$[-1,1]$

— whuber

Hãy tìm phân phối và sau đó phương sai theo kết quả tiêu chuẩn. Hãy xem xét sản phẩm vectơ và viết nó trên dạng cosine, tức là lưu ý rằng chúng ta có trong đó là góc giữa và . Ở bước cuối cùng, tôi đã sử dụng nó cho bất kỳ sự kiện vàBây giờ hãy xem xét thuật ngữ . Rõ ràng là kể từ khi được chọn lựa thống nhất đối với các bề mặt hình cầu với, nó không có vấn đề gì

P (x^{'} y \leq t) = P (| x | | y | \cos θ \leq t) = P (\cos θ \leq t) = E P (\cos θ \leq t ∣ y),

$P(x'y\leq t)=P(|x||y|\cos\theta\leq t)=P(\cos\theta\leq t)=\mathbb{E}P(\cos\theta\leq t\mid y),$

θ

$\theta$

x

$x$

y

$y$

A

$A$

B

$B$

E P (A ∣ B) := E [E [χ_{A} ∣ B]] = E χ_{A} = P (A) .

$\mathbb EP(A\mid B):=\mathbb{E}[\mathbb{E}[\chi_A\mid B]]=\mathbb{E}\chi_A=P(A).$

P (\cos θ \leq t ∣ y)

$P(\cos\theta\leq t\mid y)$

x

$x$

y

$y$ thực ra là, chỉ có góc giữa và . Do đó, thuật ngữ bên trong kỳ vọng thực sự không đổi như là một hàm của và chúng ta có thể wlog giả sử rằngSau đó, chúng ta nhận đượcnhưng vì là tọa độ đầu tiên của vectơ Gauss được chuẩn hóa trong chúng ta có là Gaussian với phương sai bằng cách gọi kết quả tiệm cận của bài báo này .

x

$x$

y

$y$

y

$y$

y = [1, 0, 0, \dots]^{'} .

$y=[1,0,0,\dots ]'.$

P (x^{'} y \leq t) = P (x_{1} \leq t) .

$P(x'y\leq t)=P\left( x_1\leq t\right).$

x_{1}

$x_1$

R^{n},

$\mathbb{R}^n,$

x^{'} y

$x'y$

1 / n

$1/n$

Để có kết quả rõ ràng về phương sai, hãy sử dụng thực tế rằng sản phẩm chấm có nghĩa là không bởi tính độc lập và, như được hiển thị ở trên, được phân phối như tọa độ đầu tiên của . Theo các kết quả này, việc tìm kiếm để tìm . Bây giờ, lưu ý rằng mỗi lần xây dựng và vì vậy chúng ta có thể viết trong đó đẳng thức cuối cùng theo đó tọa độ của được phân phối giống hệt nhau. Đặt mọi thứ lại với nhau, chúng tôi đã thấy rằng $x$ $\text{Var}(x'y)$ $\mathbb{E}x_1^2$ $x'x=1$

1 = E x^{'} x = E \sum_{i = 1}^{n} x_{i}^{2} = \sum_{i = 1}^{n} E x_{i}^{2} = n E x_{1}^{2},

$1=\mathbb{E}x'x=\mathbb{E}\sum_{i=1}^nx_i^2=\sum_{i=1}^n\mathbb{E}x_i^2=n\mathbb{E}x_1^2,$

x

$x$

Var (x^{'} y) = E x_{1}^{2} = 1 / n

$\text{Var}(x'y)=\mathbb{E}x_1^2=1/n$

— ekvall
nguồn

Cảm ơn bạn, nhưng tôi bối rối: chính xác "kết quả mong muốn" là gì và nó diễn ra như thế nào từ phương trình cuối cùng? Các phân phối xác suất chính thức nên phụ thuộc vào .

D

$D$

— amip nói rằng Phục hồi lại

Trên thực tế, kết quả như thế nào từ phương trình cuối cùng của bạn chính xác là những gì được thảo luận trên chủ đề math.SE mà bạn tìm thấy. Nó liên quan đến các bản phân phối beta, v.v., và hành vi giới hạn là (đối với tôi) không rõ ràng. Tôi đoán có phải là một cách trực tiếp đơn giản để thấy rằng .

σ^{2} (D) \approx 1 / D

$\sigma^2(D) \approx 1/D$

— amip nói rằng Phục hồi lại

Nó phụ thuộc vào kích thước kể từ , trong đó

x_{1} = z_{1} | z |^{- 1}

$x_1=z_1 |z|^{-1}$

z

$z$ là vectơ Gaussian được tạo. Tôi sẽ cập nhật câu trả lời sau hôm nay hoặc ngày mai.

— ekvall

Ồ, thật tuyệt, liên kết cuối cùng của bạn cung cấp giới hạn của biểu thức đó liên quan đến các hàm beta nghịch đảo (mà tôi sợ tính toán) trong phương trình thứ ba trên trang 1. Vì vậy, để hoàn thành lý do: nếu hình cầu có bán kính , thì được (không có triệu chứng) được phân phối dưới dạng . Những phương tiện đó đối với lĩnh vực của đơn vị bán kính đúng là nhỏ hơn lần, tức là . Tuy nhiên, tôi vẫn có một mối lo ngại: Tôi đã kiểm tra từ 1 đến 4 và dường như đưa ra phương sai chính xác , mặc dù các phân phối cho D = 1 hoặc D = 2 rất xa so với bình thường. Cần có một lý do sâu xa hơn đằng sau đó.

\sqrt{D}

$\sqrt{D}$

x_{1}

$x_1$

N (0, 1)

$\mathcal{N}(0,1)$

D

$D$

1 / D

$1/D$

D

$D$

1 / D

$1/D$

— amip nói phục hồi lại

@amoeba Có, cập nhật với một bằng chứng về điều đó.

— ekvall

Để trả lời phần đầu tiên của câu hỏi của bạn, hãy biểu thị . Xác định Các sản phẩm của các yếu tố của $Z = \langle X,Y \rangle = \sum X_i Y_i$

f_{Z_{i}} (z_{i}) = \int_{- \infty}^{\infty} f_{Z_{1}, \dots, Z_{D}} (z_{1}, \dots, z_{D}) d z_{i}

$f_{Z_i}(z_i) = \int_{-\infty}^\infty f_{Z_1,\ldots,Z_D}(z_1,\ldots,z_D) \: d z_i$

i^{t h}

$i^{th}$

X

$X$ và được ký hiệu ở đây là sẽ được phân phối theo phân phối chung của và . sau đó kể từ ,

Y

$Y$

Z_{i}

$Z_i$

X_{i}

$X_i$

Y_{i}

$Y_i$

f_{Z_{i}} (z_{i}) = \int_{- \infty}^{\infty} f_{X_{i}, Y_{i}} (x, \frac{z_{i}}{x}) \frac{1}{| x |} d x

$f_{Z_i}(z_i) = \int_{-\infty}^\infty f_{X_i,Y_i}(x,\frac{z_i}{x})\frac{1}{|x|}dx$

Z = \sum Z_{i}

$Z = \sum Z_i$

f_{Z} (z) = \int_{- \infty}^{\infty} \dots \int_{- \infty}^{\infty} f_{Z_{1}, \dots, Z_{D}} (z_{1}, \dots, z_{d}) δ (z - \sum z_{i}) d z_{1} \dots d z_{d}

$f_Z(z) = \int_{-\infty}^\infty \ldots \int_{-\infty}^\infty f_{Z_1,\ldots,Z_D} (z_1,\ldots,z_d) \: \delta(z - \sum z_i)\: dz_1\ldots d z_d$

$\sigma$ $X$ $Y$

$\{Z_1,\ldots,Z_D\}$ $\mathbb{E}[Z_i] = \mu$ $\mathbb{V}[Z_i] = \sigma^2$ $\sigma^2(D) = \frac{\sigma^2}{D}$ $\lim_{D\to\infty} \sigma^2(D) = 0$

— tom
nguồn

X

$X$

Y

$Y$

σ^{2} (D) = V a r (z_{i}) / D

$\sigma^2(D) = \mathrm{Var}(z_i)/D$

V a r (z_{i})

$\mathrm{Var}(z_i)$

D

$D$

V a r (z_{i}) = 1 / 2

$\mathrm{Var}(z_i)=1/2$

z_{i}

$z_i$

X

$X$

Y

$Y$

V a r (z_{i})

$\mathrm{Var}(z_i)$

V a r (z)

$\mathrm{Var}(z)$

1 / D

$1/D$