Tính toán kỳ vọng của hệ số tương quan hoặc

Tôi đang đăng lại một câu hỏi từ math.stackexchange.com , tôi nghĩ rằng câu trả lời hiện tại trong math.se là không đúng.

Chọn số từ một tập , là số thứ được chọn và là thứ hạng của trong số. Các lựa chọn là không thay thế. phải lúc nào cũng nhỏ hơn so với . Thứ hạng là thứ tự của một số sau khi số được sắp xếp theo thứ tự tăng dần.$n$$\{1,2,...,U\}$$y_i$$i$$x_i$$y_i$$n$$n$$U$$n$

Chúng ta có thể nhận được điểm dữ liệu , và một dòng phù hợp nhất cho các điểm dữ liệu này có thể được tìm thấy bằng hồi quy tuyến tính. (hệ số tương quan) là độ tốt của đường phù hợp, tôi muốn tính toán hoặc (tương quan xác định) .$n$$(x_1, y_1), (x_2, y_2), ..., (x_n, y_n)$$r_{xy}$$\mathbb{E}(r_{xy})$$\mathbb{E}(r_{xy}^2)$

Nếu không thể tính toán , ước tính hoặc giới hạn dưới vẫn ổn.$\mathbb{E}[r_{xy}]$

Đã cập nhật: Bằng cách tính hệ số tương quan mẫu bằng cách sử dụng dữ liệu được tạo ngẫu nhiên, chúng ta có thể thấy khá gần với 1, vì vậy tôi muốn chứng minh nó từ quan điểm lý thuyết, hoặc về mặt lý thuyết, dữ liệu được tạo bởi phương pháp trên là rất tuyến tính.$r_{xy}$

Cập nhật: Có thể có được phân phối hệ số tương quan mẫu?

Sắp xếp lại vấn đề theo các biến mới, sao cho $1\leq z_1<z_2<\dots<z_n\leq U$. Sau đó chúng tôi có$(x_i,y_i)=(x_i,z_{x_i})$, như @whuber đã chỉ ra trong các bình luận. Vì vậy, bạn đang thoái lui một cách hiệu quả$z_j$ trên $j$và $r_{xy}=r_{xz}$. Vì vậy, nếu chúng ta có thể làm việc phân phối biên cho$z_j$và chỉ ra rằng về cơ bản là tuyến tính trong $j$ vấn đề đã xong, và chúng ta sẽ có $r_{xy}\sim 1$.

Trước tiên chúng ta cần phân phối chung cho $z_1,\dots,z_n$. Điều này khá đơn giản, sau khi bạn có lời giải, nhưng tôi thấy nó không thẳng tiến trước khi tôi làm toán. Chỉ là một bài học ngắn về việc làm toán trả hết - vì vậy tôi sẽ trình bày các bài toán trước, sau đó là câu trả lời dễ dàng.

Bây giờ, phân phối chung ban đầu là $p(y_1,\dots,y_n)\propto 1$. Thay đổi các biến chỉ đơn giản là dán lại những thứ cho xác suất rời rạc, và do đó xác suất vẫn không đổi. Tuy nhiên, việc ghi nhãn không phải là 1-1, do đó chúng ta không thể đơn giản viết$p(z_1,\dots,z_n)=\frac{(U-n)!}{U!}$. Thay vào đó, chúng ta có

$$\begin{array}\\p(z_1,\dots,z_n)=\frac{1}{C} & 1\leq z_1<z_2<\dots<z_n\leq U\end{array}$$

Và chúng ta có thể tìm thấy $C$ bằng cách chuẩn hóa

$$C=\sum_{z_n=n}^{U}\sum_{z_{n-1}=n-1}^{z_n-1}\dots\sum_{z_2=2}^{z_3-1}\sum_{z_1=1}^{z_2-1}(1)=\sum_{z_n=n}^{U}\sum_{z_{n-1}=n-1}^{z_n-1}\dots\sum_{z_2=2}^{z_3-1}(z_2-1)$$ $$=\sum_{z_n=n}^{U}\sum_{z_{n-1}=n-1}^{z_n-1}\dots\sum_{z_3=2}^{z_4-1}\frac{(z_3-1)(z_3-2)}{2}=\sum_{z_n=n}^{U}\dots\sum_{z_4=4}^{z_5-1}\frac{(z_4-1)(z_4-2)(z_4-3)}{(2)(3)}$$ $$=\sum_{z_n=n}^{U}\sum_{z_{n-1}=n-1}^{z_n-1}\dots\sum_{z_{j}=j}^{z_{j+1}-1}{z_j-1 \choose j-1}={U \choose n}$$

Điều này cho thấy tỷ lệ dán nhãn lại bằng $\frac{(U-n)!}{U!}{U \choose n}=\frac{1}{n!}$ - cho mỗi $(z_1,\dots,z_n)$ có $n!$ $(y_1,\dots,y_n)$các giá trị. Có ý nghĩa bởi vì bất kỳ hoán vị của lables trên$y_i$ dẫn đến cùng một bộ xếp hạng $z_i$các giá trị. Bây giờ, phân phối biên$z_1$, chúng tôi nhắc lại ở trên nhưng với tổng số $z_1$ giảm, và một phạm vi tổng kết khác nhau cho phần còn lại, cụ thể là, mức tối thiểu thay đổi từ $(2,\dots,n)$ đến $(z_1+1,\dots,z_1+n-1)$và chúng tôi nhận được:

$$p(z_1)=\sum_{z_n=z_1+n-1}^{U}\;\;\sum_{z_{n-1}=z_1+n-2}^{z_n-1}\dots\sum_{z_2=z_1+1}^{z_3-1}p(z_1,z_2,\dots,z_n)=\frac{{U-z_1 \choose n-1}}{{U \choose n}}$$

Với sự hỗ trợ $z_1\in\{1,2,\dots,U+1-n\}$. Hình thức này, kết hợp với một chút trực giác cho thấy rằng phân phối biên của bất kỳ$z_j$ có thể được lý giải bằng cách:

1. lựa chọn $j-1$ các giá trị dưới đây $z_j$, có thể được thực hiện trong ${z_j-1\choose j-1}$ cách (nếu $z_j\geq j$);
2. chọn giá trị $z_j$, có thể được thực hiện 1 cách; và
3. lựa chọn $n-j$ các giá trị trên $z_j$ có thể được thực hiện trong ${U-z_j\choose n-j}$ cách (nếu $z_j\leq U+j-n$)

Phương pháp suy luận này sẽ dễ dàng khái quát hóa cho các phân phối chung, chẳng hạn như $p(z_j,z_k)$(có thể được sử dụng để tính giá trị dự kiến ​​của hiệp phương sai mẫu nếu bạn muốn). Do đó chúng ta có:

$$\begin{array}{c c}\\p(z_j)=\frac{{z_j-1\choose j-1}{U-z_j\choose n-j}}{{U \choose n}} & j\leq z_j\leq U+j-n \\p(z_j,z_k)=\frac{{z_j-1\choose j-1}{z_k-z_j-1 \choose k-j-1}{U-z_k\choose n-k}}{{U \choose n}} & j\leq z_j\leq z_k+j-k\leq U+j-n \end{array}$$

Bây giờ cận biên là pdf của phân phối siêu bội âm với các tham số$k=j,r=n,N=U$(về mặt ký hiệu của bài báo). Bây giờ điều này rõ ràng không chính xác tuyến tính trong$j$, nhưng kỳ vọng cận biên cho $z_j$ Là

$$E(z_j)=j\frac{U+1}{n+1}$$

Đây thực sự là tuyến tính trong $j$và bạn sẽ mong đợi hệ số beta của $\frac{U+1}{n+1}$ từ hồi quy, và chặn bằng không.

CẬP NHẬT

Tôi dừng câu trả lời của tôi một chút ngắn trước đó. Bây giờ đã hoàn thành hy vọng một câu trả lời đầy đủ hơn

Để $\overline{j}=\frac{n+1}{2}$và $\overline{z}=\frac{1}{n}\sum_{j=1}^{n}z_j$, bình phương dự kiến ​​của hiệp phương sai mẫu giữa $j$ và $z_j$ được đưa ra bởi:

$$E[s_{xz}^2]=E\left[\frac{1}{n}\sum_{j=1}^{n}(j-\overline{j})(z_j-\overline{z})\right]^2$$ $$=\frac{1}{n^2}\left[\sum_{j=1}^{n}(j-\overline{j})^2E(z_j^2)+2\sum_{k=2}^{n}\sum_{j=1}^{k-1}(j-\overline{j})(k-\overline{j})E(z_jz_k)\right]$$

Vì vậy chúng ta cần $E(z_j^2)=V(z_j)+E(z_j)^2=Aj^2+Bj$, Ở đâu $A=\frac{(U+1)(U+2)}{(n+1)(n+2)}$ và $B=\frac{(U+1)(U-n)}{(n+1)(n+2)}$(sử dụng công thức trong tệp pdf). Vì vậy, số tiền đầu tiên trở thành

$$\sum_{j=1}^{n}(j-\overline{j})^2E(z_j^2)=\sum_{j=1}^{n}(j^2-2j\overline{j}+\overline{j}^2)(Aj^2+Bj)$$ $$=\frac{n(n-1)(U+1)}{120}\bigg( U(2n+1)+(3n-1)\bigg)$$

Chúng tôi cũng cần $E(z_jz_k)=E[z_j(z_k-z_j)]+E(z_j^2)$.

$$E[z_j(z_k-z_j)]=\sum_{z_k=k}^{U+k-n}\sum_{z_j=j}^{z_k+j-k}z_j(z_k-z_j) p(z_j,z_k)$$ $$=j(k-j)\sum_{z_k=k}^{U+k-n}\sum_{z_j=j}^{z_k+j-k}\frac{{z_j\choose j}{z_k-z_j \choose k-j}{U-z_k\choose n-k}}{{U \choose n}}=j(k-j)\sum_{z_k=k}^{U+k-n}\frac{{z_k+1 \choose k+1}{U+1-(z_k+1)\choose n-k}}{{U \choose n}}$$ $$=j(k-j)\frac{{U+1\choose n+1}}{{U \choose n}}=j(k-j)\frac{U+1}{n+1}$$ $$\implies E(z_jz_k)=jk\frac{U+1}{n+1}+j^2\frac{(U+1)(U-n)}{(n+1)(n+2)}+j\frac{(U+1)(U-n)}{(n+1)(n+2)}$$

Và tổng thứ hai là:

$$2\sum_{k=2}^{n}\sum_{j=1}^{k-1}(j-\overline{j})(k-\overline{j})E(z_jz_k)$$ $$=\frac{n(U+1)(n-1)}{720(n+2)}\bigg(6(U-n)(n^3-2n^2-9n-2) + (n+2)(5 n^3- 24 n^2- 35 n +6)\bigg)$$

Và sau một số thao tác khá tẻ nhạt, bạn sẽ nhận được giá trị kỳ vọng của hiệp phương sai bình phương của:

$$E[s_{xz}^2]=\frac{(n-1)(n-2)U(U+1)}{120}-\frac{(U+1)(n-1)(n^3+2n^2+11n+22)}{720(n+2)}$$

Bây giờ nếu chúng ta có $U>>n$, sau đó thuật ngữ đầu tiên chiếm ưu thế $O(U^2n^2)$, trong khi thuật ngữ thứ hai là $O(Un^3)$. Chúng ta có thể chỉ ra rằng thuật ngữ chi phối gần đúng$E[s_{x}^2s_{z}^2]$và chúng ta có một lý do lý thuyết khác tại sao mối tương quan pearson rất gần với $1$ (ngoài thực tế là $E(z_j)\propto j$).

Bây giờ phương sai mẫu dự kiến ​​của $j$ chỉ là phương sai mẫu, đó là $s_x^2=\frac{1}{n}\sum_{j=1}^{n}(j-\overline{j})^2=\frac{(n+1)(n-1)}{12}$. Phương sai mẫu dự kiến ​​cho$z_j$ được đưa ra bởi:

$$E[s_z^2]=E\left[\frac{1}{n}\sum_{j=1}^{n}(z_j-\overline{z})^2\right]=\frac{1}{n}\sum_{j=1}^{n}E(z_j^2)-\left[\frac{1}{n}\sum_{j=1}^{n}E(z_j)\right]^2$$ $$=\frac{A(n+1)(2n+1)}{6}+\frac{B(n+1)}{2}-\frac{(U+1)^2}{4}$$ $$=\frac{(U+1)(U-1)}{12}$$

Kết hợp mọi thứ lại với nhau, và lưu ý rằng $E[s_x^2s_z^2]=s_x^2E[s_z^2]$, chúng ta có:

$$E[s_x^2s_z^2]=\frac{(n+1)(n-1)(U+1)(U-1)}{144}\approx \frac{(n-1)(n-2)U(U+1)}{120}\approx E[s_{xz}^2]$$

Đó là gần giống như $E[r_{xz}^2]\approx 1$

If you only want to show $r^2_{xy}$ must be close to 1, and compute a lower bound for it, it's straightforward, because that means for given $U$ and $n$ you only need to maximize the variance of the residuals. This can be done in exactly four symmetric ways. The two extremes (lowest and highest possible correlations) are illustrated for $U=20, n=9$.

For large values of $U$ and appropriate values of $n$, $r^2_{xy}$ can actually get close to 0. For example, with $n=100$ and very large values of $U \gg n$, $r^2_{xy} \sim 0.03$ in the worst case.