Tại sao mẫu số của công cụ ước lượng hiệp phương sai không phải là n-2 chứ không phải n-1?

36

Mẫu số của công cụ ước lượng phương sai (không thiên vị) là vì có quan sát và chỉ có một tham số được ước tính. $n-1$ $n$

V (X) = \frac{\sum_{i = 1}^{n} {(X_{i} - \bar{X})}^{2}}{n - 1}

$\mathbb{V}\left(X\right)=\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)^{2}}{n-1}$

Với cùng một mã thông báo, tôi tự hỏi tại sao không nên mẫu số của hiệp phương sai là khi hai tham số đang được ước tính? $n-2$

C o v (X, Y) = \frac{\sum_{i = 1}^{n} (X_{i} - \bar{X}) (Y_{i} - \bar{Y})}{n - 1}

$\mathbb{Cov}\left(X, Y\right)=\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)\left(Y_{i}-\overline{Y}\right)}{n-1}$

— MYaseen208
nguồn

15

Nếu bạn đã làm điều đó, bạn sẽ có hai định nghĩa mâu thuẫn với phương sai: một sẽ là công thức đầu tiên và người kia sẽ là công thức thứ hai áp dụng với .

Y = X

$Y=X$

— whuber

3

Giá trị trung bình bi / multivariate (kỳ vọng) là một, không phải 2 tham số.

— ttnphns 19/03/2015

14

@ttnphns Điều đó không đúng: trung bình bivariate rõ ràng là hai tham số vì nó yêu cầu hai số thực để biểu thị nó. (Quả thực đó là một tham số vectơ đơn , nhưng nói như vậy chỉ ngụy trang thực tế là nó có hai thành phần.) Điều này hiển thị rõ ràng ở mức độ tự do cho các phép thử t-phương sai gộp, ví dụ, trong đó bị trừ, không phải . Điều thú vị về câu hỏi này là làm thế nào nó tiết lộ mức độ mơ hồ, không hấp dẫn và có khả năng gây hiểu lầm là "lời giải thích" phổ biến mà chúng tôi trừ từ vì một tham số đã được ước tính.

2

$2$

1

$1$

1

$1$

n

$n$

— whuber

@whuber, Bạn nói đúng đấy. Nếu chỉ có (quan sát độc lập), vấn đề chúng ta sẽ không dành nhiều df trong các thử nghiệm đa biến hơn là trong các thử nghiệm đơn biến.

n

$n$

— ttnphns 19/03/2015

3

@whuber: Có lẽ tôi sẽ nói rằng nó cho thấy những gì được tính là "một tham số" phụ thuộc vào tình huống. Trong trường hợp này, phương sai được tính trên quan sát $n$ và do đó, mỗi quan sát - hoặc tổng trung bình - có thể được xem là một tham số, ngay cả khi đó là trung bình đa biến, như ttnphns nói. Tuy nhiên, trong các trường hợp khác, ví dụ khi thử nghiệm xem xét kết hợp kích thước tuyến tính, mỗi kích thước của mỗi quan sát sẽ trở thành "một tham số". Bạn đúng rằng đây là một vấn đề khó khăn.

— amip nói phục hồi Monica

31

Hiệp phương sai là phương sai.

Kể từ khi nhận dạng phân cực

Cov (X, Y) = Var (\frac{X + Y}{2}) - Var (\frac{X - Y}{2}),

$\newcommand{\c}{\text{Cov}}\newcommand{\v}{\text{Var}} \c(X,Y) = \v\left(\frac{X+Y}{2}\right) - \v\left(\frac{X-Y}{2}\right),$

mẫu số phải giống nhau.

— whuber
nguồn

20

Một trường hợp đặc biệt phải cung cấp cho bạn một trực giác; nghĩ về những điều sau đây

\hat{C o v} (X, X) = \hat{V} (X)

$\hat{\mathbb{Cov}}\left(X, X\right)= \hat{\mathbb{V}}\left(X\right)$

Bạn rất vui khi cái sau là do Sửa tàu. $\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)^{2}}{n-1}$

Nhưng thay thế bằng trong cho cái trước sẽ cho , vậy bây giờ bạn nghĩ gì có thể điền vào chỗ trống tốt nhất? $Y$ $X$ $\hat{\mathbb{Cov}}\left(X, Y\right)$ $\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)\left(X_{i}-\overline{X}\right)}{\text{mystery denominator}}$

— Cá bạc
nguồn

1

ĐƯỢC. Nhưng OP có thể hỏi "tại sao lại coi cov (X, X) và cov (X, Y) nằm trong một dòng logic? Tại sao bạn lại thay thế Y bằng X trong cov () một cách nhanh chóng? Có thể cov (X, Y) là một tình huống khác nhau? " Bạn đã không tránh khỏi điều đó, trong khi câu trả lời (được đánh giá cao) nên có, trong ấn tượng của tôi :-)

— ttnphns

7

Câu trả lời nhanh và bẩn ... Trước tiên, hãy xem xét ; nếu bạn có quan sát với giá trị mong đợi bạn sẽ sử dụng để ước tính phương sai. $\text{var}(X)$ $n$ $E(X) = 0$ ${1\over n}\sum_{i=1}^n X_i^2$

Giá trị mong đợi chưa được biết, bạn có thể chuyển đổi các quan sát của mình thành các quan sát với giá trị dự kiến đã biết bằng cách lấy cho . Bạn sẽ nhận được một công thức có trong mẫu số - tuy nhiên không độc lập và bạn phải tính đến điều này; Cuối cùng, bạn sẽ tìm thấy công thức thông thường. $n$ $n-1$ $A_i = X_i - X_1$ $i = 2, \dots,n$ $n-1$ $A_i$

Bây giờ đối với hiệp phương sai, bạn có thể sử dụng cùng một ý tưởng: nếu giá trị mong đợi của là , bạn sẽ có trong công thức. Bằng cách trừ cho tất cả các giá trị được quan sát khác, bạn sẽ có được quan sát với giá trị dự kiến đã biết ... và một trong công thức - một lần nữa, điều này đưa ra một số sự phụ thuộc để đưa vào tài khoản. $(X,Y)$ $(0,0)$ ${1\over n}$ $(X_1,Y_1)$ $n-1$ ${1\over n-1}$

PS Cách rõ ràng để làm điều đó là chọn cơ sở trực giao của , đó là các vectơ sao cho $\big\langle (1, \dots, 1)' \big\rangle^{\perp}$ $n-1$ $c_1, \dots, c_{n-1} \in \mathbb R^n$

$\sum_j c_{ij}^2 = 1$ cho tất cả , $i$
$\sum_j c_{ij} = 0$ cho tất cả , $i$
$\sum_j c_{i_1j} c_{i_2j} = 0$ cho tất cả . $i_1 \ne i_2$

Sau đó, bạn có thể xác định biến và . Các là độc lập, đã dự kiến giá trị , và có cùng một sai / hiệp phương sai so với các biến ban đầu. $n-1$ $A_i = \sum_j c_{ij} X_j$ $B_i = \sum_j c_{ij} Y_j$ $(A_i,B_i)$ $(0,0)$

Tất cả vấn đề là nếu bạn muốn thoát khỏi sự kỳ vọng chưa biết, bạn bỏ một (và chỉ một) quan sát. Điều này hoạt động như nhau cho cả hai trường hợp.

— Elvis
nguồn

6

Dưới đây là một bằng chứng cho thấy công cụ ước lượng hiệp phương sai mẫu p với mẫu số là một công cụ ước lượng không thiên vị của ma trận hiệp phương sai: $\frac{1}{n-1}$

$x' = (x_1,...,x_p)$ .

$\Sigma= E((x-\mu)(x-\mu)')$

$S = \frac{1}{n} \sum (x_i - \bar{x})(x_i - \bar{x})'$

Để hiển thị: $E(S) = \frac{n-1}{n}\Sigma$

Chứng minh: $S= \frac{1}{n}\sum x_ix_i' - \bar{x}\bar{x}'$

Kế tiếp:

(1) $E(x_ix_i') = \Sigma + \mu\mu'$

(2) $E(\bar{x}\bar{x}') = \frac{1}{n} \Sigma+ \mu\mu'$

Do đó: $E(S) = \Sigma + \mu\mu' - (\frac{1}{n} \Sigma+ \mu\mu') = \frac{n-1}{n} \Sigma$

Và do đó , với mẫu số cuối cùng , không thiên vị. Các phần tử nằm ngoài đường chéo của là hiệp phương sai mẫu riêng của bạn. $S_u = \frac{n}{n-1}S$ $\frac{1}{n-1}$ $S_u$

Nhận xét bổ sung:

Các n vẽ là độc lập. Điều này được sử dụng trong (2) để tính hiệp phương sai của giá trị trung bình mẫu.
Bước (1) và (2) sử dụng thực tế là $Cov(x)= E[xx']-\mu\mu'$
Bước (2) sử dụng thực tế là $Cov(\bar{x})= \frac{1}{n}\Sigma$

— statchrist
nguồn

Khó khăn ở bước 2! :)

— Elvis

@Elvis Nó lộn xộn. Người ta cần áp dụng quy tắc Cov (X + Y, Z) = Cov (X, Z) + Cov (Y, Z) và nhận ra rằng các lần rút khác nhau là độc lập. Sau đó, về cơ bản, nó tóm tắt hiệp phương sai n lần và thu nhỏ nó xuống 1 / n²

— statchrist 19/03/2015

4

Tôi đoán một cách để xây dựng trực giác đằng sau bằng cách sử dụng 'n-1' chứ không phải 'n-2' - đó là để tính toán phương sai, chúng ta không cần định nghĩa cả X và Y, mà là cả hai, nghĩa là

$\ sum (X- \ mu_x) (Y - \ mu_y) = \ sum (X- \ mu_x) Y \ \ \ hoặc \ \ \ \ sum (Y- \ mu_y) X$

— Uditg_ucla
nguồn

Bạn có thể giải thích làm thế nào con gấu này về câu hỏi sử dụng mẫu số nào? Mối quan hệ đại số trong bằng chứng xuất phát từ thực tế là phần dư so với tổng trung bình bằng 0, nhưng mặt khác thì im lặng về mẫu số nào có liên quan.

— whuber

5

Tôi đến đây vì tôi có cùng câu hỏi với OP. Tôi nghĩ rằng câu trả lời này được đưa ra ở điểm cuối của điểm @whuber đã chỉ ra ở trên: quy tắc của ngón tay cái là df ~ = n - (các tham số ước tính) có thể "mơ hồ, không hấp dẫn và có khả năng gây hiểu lầm." Điều này chỉ ra một thực tế rằng mặc dù có vẻ như bạn cần ước tính hai tham số (xbar và ybar), nhưng bạn thực sự chỉ ước tính một tham số (xbar hoặc ybar). Vì df phải giống nhau trong cả hai trường hợp, nên nó phải thấp hơn trong hai trường hợp. Tôi nghĩ đó là ý định ở đây.

— mpettis

1

1) Bắt đầu . $df=2n$

2) Hiệp phương sai mẫu tỷ lệ với . Mất hai ; một từ , một từ dẫn đến . $\Sigma_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$ $df$ $\bar{X}$ $\bar{Y}$ $df=2(n-1)$

3) Tuy nhiên, chỉ chứa thuật ngữ riêng biệt, một thuật ngữ từ mỗi sản phẩm. Khi hai số được nhân với nhau, thông tin độc lập từ mỗi số riêng biệt sẽ biến mất. $\Sigma_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$ $n$

Như một ví dụ điển hình, hãy xem xét rằng

$24=1*24=2*12=3*8=4*6=6*4=8*3=12*2=24*1$ ,

và điều đó không bao gồm các số vô tỷ và phân số, ví dụ , để khi chúng ta nhân hai chuỗi số với nhau và kiểm tra sản phẩm của chúng, tất cả những gì chúng ta thấy là từ một dãy số, vì chúng ta đã mất một nửa thông tin ban đầu, nghĩa là hai số đó là gì trước khi nhóm cặp khôn ngoan thành một số (nghĩa là nhân) được thực hiện. $24=2\sqrt{6}*2\sqrt{6}$ $df=n-1$

Nói cách khác, không mất tính tổng quát, chúng ta có thể viết

$(X_i-\bar{X})(Y_i-\bar{Y})=z_i-\bar{z}$ cho một số và , $z_i$ $\bar{z}$

tức là , và, . Từ các , sau đó rõ ràng có , công thức hiệp phương sai trở thành $z_i=X_iY_i-\bar{X}Y_i-X_i\bar{Y}$ $\bar{z}=\bar{X}\bar{Y}$ $z$ $df=n-1$

$\Sigma_{i=1}^n\frac{z_i-\bar{z}}{n-1}=$

$\Sigma_{i=1}^n\frac{[(X_i-\bar{X})(Y_i-\bar{Y})]}{n-1}=$

$\frac{1}{n-1}\Sigma_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$ .

Vì vậy, câu trả lời cho câu hỏi là được giảm một nửa bằng cách nhóm. $df$

— Carl
nguồn

@whuber Làm thế nào trên trái đất tôi nhận được điều tương tự được đăng hai lần và xóa một lần? Đưa cái gì? Chúng ta có thể thoát khỏi một trong số họ? Để tham khảo trong tương lai, có cách nào để xóa vĩnh viễn các bản sao đó không? Tôi có một vài treo xung quanh và nó gây phiền nhiễu.

— Carl

Theo như tôi có thể nói, bạn đã đăng lại câu trả lời của bạn từ bản sao đến đây. (Không ai khác có quyền đăng câu trả lời trong tên của bạn.) Hệ thống không khuyến khích đăng câu trả lời giống hệt nhau trong nhiều luồng, vì vậy khi tôi thấy điều đó, tôi đã thuyết phục hai chủ đề này là bản sao hoàn hảo và tôi "hợp nhất" chúng. Đây là một thủ tục di chuyển tất cả các ý kiến và câu trả lời từ luồng nguồn sang luồng đích. Sau đó tôi đã xóa bài viết trùng lặp của bạn ở đây trong chuỗi mục tiêu. Nó sẽ vẫn bị xóa vĩnh viễn, nhưng sẽ hiển thị cho bạn cũng như những người có uy tín đủ cao.

— whuber

@whuber Tôi không biết điều gì xảy ra trong một sự hợp nhất, rằng một sự hợp nhất đang diễn ra hoặc nhiều quy tắc là gì, mặc dù việc tìm kiếm mọi thứ liên tục. Phải mất thời gian để học, hãy kiên nhẫn, BTW, bạn có cân nhắc việc lấy số liệu thống kê.stackexchange.com / questions / 251700 / ra khỏi Hold?

— Carl