Ước tính khả năng tối đa của hiệp phương sai của dữ liệu thông thường bivariate khi giá trị trung bình và phương sai được biết là gì?

Giả sử chúng ta có một mẫu ngẫu nhiên từ một phân phối chuẩn bivariate có số không là phương tiện và là phương sai, vì vậy tham số chưa biết duy nhất là hiệp phương sai. MLE của hiệp phương sai là gì? Tôi biết nó phải giống như nhưng làm sao chúng ta biết điều này? $\frac{1}{n} \sum_{j=1}^{n}x_j y_j$

— Stacy
nguồn

Là một người mới bắt đầu, bạn không nghĩ rằng sẽ hơi khó hiểu khi ước tính phương tiện với và trong khi thực tế chúng ta biết rằng chúng là 0 và 0?

\bar{x}

$\bar{x}$

\bar{y}

$\bar{y}$

— Wolfgang

Rất không chú ý, đã sửa nó. Vẫn không thấy làm thế nào điều này có thể dễ dàng làm theo. Nó tương tự như phương sai mẫu nhưng tại sao lại là MLE (trừ khi không phải và tôi đã phạm sai lầm khác)

— Stacy

Bạn đã xóa ? Sử dụng công thức này không có nghĩa là bạn coi và là ước tính của phương tiện.

\frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (y_{i} - \bar{y})

$\frac{1}{n}\sum_{i=1}^n(x_i-\bar x)(y_i - \bar y)$

\bar{x}

$\bar x$

\bar{y}

$\bar y$

— Stéphane Laurent

@ StéphaneLaurent Có, trong bài viết ban đầu, công thức đã được đưa ra như bạn đã viết nó.

— Wolfgang

Công cụ ước tính cho hệ số tương quan (trong trường hợp tiêu chuẩn bivariate bình thường bằng hiệp phương sai)

\tilde{r} = \frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}

$\tilde r = \frac 1n\sum_{i=1}^nx_iy_i$

là công cụ ước tính Phương pháp của các khoảnh khắc, hiệp phương sai mẫu. Hãy xem liệu nó có trùng với công cụ ước tính khả năng tối đa không, . $\hat \rho$

Mật độ khớp của một tiêu chuẩn bivariate bình thường với hệ số tương quan là $\rho$

f (x, y) = \frac{1}{2 π \sqrt{1 - ρ^{2}}} \exp {- \frac{x^{2} + y^{2} - 2 ρ x y}{2 (1 - ρ^{2})}}

$f(x,y) = \frac{1}{2 \pi \sqrt{1-\rho^2}} \exp\left\{-\frac{x^2 +y^2 -2\rho xy}{2(1-\rho^2)}\right\}$

và vì vậy khả năng đăng nhập của mẫu iid có kích thước là $n$

\ln L = - n \ln (2 π) - \frac{n}{2} \ln (1 - ρ^{2}) - \frac{1}{2 (1 - ρ^{2})} \sum_{i = 1}^{n} (x_{i}^{2} + y_{i}^{2} - 2 ρ x_{i} y_{i})

$\ln L = -n\ln(2\pi) -\frac n2\ln(1-\rho^2) - \frac 1{2(1-\rho^2)}\sum_{i=1}^n(x_i^2 +y_i^2 -2\rho x_iy_i)$

(ở đây giả định iid liên quan đến mỗi lần rút từ dân số hai chiều)

Lấy đạo hàm tương ứng với và đặt nó bằng 0 sẽ cho đa thức bậc 3 trong : $\rho$ $\rho$

\hat{ρ} : n {\hat{ρ}}^{3} - (\sum_{i = 1}^{n} x_{i} y_{i}) {\hat{ρ}}^{2} - (1 - \frac{1}{n} \sum_{i = 1}^{n} (x_{i}^{2} + y_{i}^{2})) n \hat{ρ} - \sum_{i = 1}^{n} x_{i} y_{i} = 0

$\hat \rho: n\hat \rho^3 -\left(\sum_{i=1}^nx_iy_i\right)\hat\rho^2 -\left(1- \frac 1n\sum_{i=1}^n(x_i^2 +y_i^2) \right)n\hat \rho - \sum_{i=1}^nx_iy_i =0$

Việc tính toán là chính xác có thể được xác minh nếu người ta lấy giá trị kỳ vọng của đạo hàm được đánh giá theo hệ số thực -it sẽ bằng không. $\rho$

Cho chặt, ghi , đó là tổng của các mẫu phương sai của và . Nếu chúng ta chia biểu thức đạo hàm 1 cho thì công cụ ước tính MoM sẽ xuất hiện, cụ thể $(1/n)\sum_{i=1}^n(x_i^2 +y_i^2) = (1/n)S_2$ $X$ $Y$ $n$

\hat{ρ} : {\hat{ρ}}^{3} - \tilde{r} {\hat{ρ}}^{2} + [(1 / n) S_{2} - 1] \hat{ρ} - \tilde{r} = 0

$\hat \rho: \hat \rho^3 -\tilde r \hat \rho^2 + \big[(1/n)S_2-1\big]\hat \rho -\tilde r=0$

\Rightarrow \hat{ρ} ({\hat{ρ}}^{2} - \tilde{r} \hat{ρ} + [(1 / n) S_{2} - 1]) = \tilde{r}

$\Rightarrow \hat \rho\Big(\hat \rho^2 -\tilde r \hat \rho + \big[(1/n)S_2-1\big] \Big) = \tilde r$

Thực hiện đại số, không khó để kết luận rằng chúng ta sẽ thu được if, và chỉ khi, , tức là chỉ khi điều đó xảy ra thì tổng phương sai mẫu bằng tổng của phương sai thực sự. Vì vậy, nói chung $\hat \rho = \tilde r$ $(1/n)S_2 =2$

\hat{ρ} \neq \tilde{r}

$\hat \rho \neq \tilde r$

Vậy chuyện gì xảy ra ở đây? Ai đó khôn ngoan hơn sẽ giải thích nó, hiện tại, chúng ta hãy thử mô phỏng: Tôi đã tạo ra một mẫu iid gồm hai tiêu chuẩn chuẩn với hệ số tương quan . Cỡ mẫu là . Các giá trị mẫu là $\rho=0.6$ $n=1.000$

\sum_{i = 1}^{n} x_{i} y_{i} = 522.05, S_{2} = 1913.28

$\sum_{i=1}^nx_iy_i = 522.05,\;\;S_2 = 1913.28$

Công cụ ước tính Phương pháp Khoảnh khắc cho chúng ta

\tilde{r} = \frac{522.05}{1000} = 0.522

$\tilde r = \frac {522.05}{1000} = 0.522$

Điều gì xảy ra với khả năng đăng nhập? Trực quan, chúng ta có

nhập mô tả hình ảnh ở đây

Số, chúng tôi có

\begin{array}{rrr} ρ & 1st deriv & lnL \\ 0.5 & - 70.92 & - 783.65 \\ 0.51 & - 59.41 & - 782.47 \\ 0.52 & - 47.7 & - 781.48 \\ 0.53 & - 35.78 & - 780.68 \\ 0.54 & - 23.64 & - 780.1 \\ 0.55 & - 11.29 & - 779.75 \\ 0.56 & 1.29 & - 779.64 \\ 0.57 & 14.1 & - 779.81 \\ 0.58 & 27.15 & - 780.27 \\ 0.59 & 40.44 & - 781.05 \\ 0.6 & 53.98 & - 782.18 \end{array}

$\begin{array}{| r | r | r |} \hline \hline ρ&\text{1st deriv}&\text{lnL}\\ \hline 0.5&-70.92&-783.65\\ 0.51&-59.41&-782.47\\ 0.52&-47.7&-781.48\\ 0.53&-35.78&-780.68\\ 0.54&-23.64&-780.1\\ 0.55&-11.29&-779.75\\ 0.56&1.29&-779.64\\ 0.57&14.1&-779.81\\ 0.58&27.15&-780.27\\ 0.59&40.44&-781.05\\ 0.6&53.98&-782.18\\ \hline \end{array}$

và chúng tôi thấy rằng khả năng đăng nhập có tối đa một chút trước trong đó đạo hàm thứ 1 trở thành số không . Không có gì ngạc nhiên cho các giá trị của không được hiển thị. Ngoài ra, đạo hàm 1 không có gốc khác. $\rho=0.56$ $(\hat \rho = 0.558985)$ $\rho$

Vì vậy, mô phỏng này phù hợp với kết quả là công cụ ước tính khả năng tối đa không bằng phương pháp ước tính khoảnh khắc (là hiệp phương thức mẫu giữa hai rv's).

Nhưng có vẻ như "mọi người" đang nói rằng nó nên ... vì vậy ai đó nên đưa ra lời giải thích.

CẬP NHẬT

Một tài liệu tham khảo chứng minh rằng MLE là công cụ ước tính Phương pháp của các khoảnh khắc: Anderson, TW, & Olkin, I. (1985). Ước tính khả năng tối đa của các tham số của phân phối chuẩn nhiều biến số. Đại số tuyến tính và các ứng dụng của nó, 70, 147-171.
Có vấn đề ở đây tất cả các phương tiện và phương sai là miễn phí để thay đổi và không cố định?

... Có lẽ có, vì bình luận @ anh chàng trong một câu trả lời (nay đã bị xóa) nói rằng, với cho các thông số trung bình và phương sai thì hai biến bình thường trở thành một thành viên của cong gia đình mũ (và vì vậy một số kết quả và tính chất thay đổi) ... đó dường như là cách duy nhất có thể dung hòa hai kết quả.

— Alecos Papadopoulos
nguồn

Đây là một chút ngạc nhiên, nhưng sau một số phản ánh nên được dự kiến. Vấn đề có thể được nhắc lại khi ước tính hệ số hồi quy trong mô hình trong đó . Đây không phải là một mô hình tuyến tính, vì vậy không có lý do gì để mong đợi MLE là một sản phẩm chấm đơn giản. Logic tương tự cho thấy (tôi nghĩ vậy!) Rằng nếu chúng ta chỉ biết thì MLE là và nếu chúng ta chỉ biết . Nếu chúng tôi không biết, chúng tôi sẽ lấy công cụ ước tính MOM của bạn.

ρ

$\rho$

Y = ρ X + ϵ

$Y = \rho X + \epsilon$

ϵ \sim N (0, {\sqrt{1 - ρ^{2}}}^{2})

$\epsilon \sim \mathcal N(0, \sqrt{1 - \rho^2}^2)$

Var (X)

$\mbox{Var}(X)$

x^{'} y / x^{'} x

$x'y / x'x$

x^{'} y / y^{'} y

$x'y / y'y$

Var (Y)

$\mbox{Var}(Y)$

— anh chàng

@guy: Rất thú vị. Tôi nghĩ rằng những lập luận này, nếu hơi mở rộng, hoàn toàn xứng đáng được đăng dưới dạng một câu trả lời riêng biệt!

— amip nói phục hồi Monica

@guy Tôi không nghĩ công thức này là tương đương, bởi vì, khả năng đăng nhập trong hồi quy được thiết lập có chứa hình vuông . Hệ số gắn liền với không có trong công thức mật độ bivariate.

ϵ^{2} = (y - ρ x)^{2} = y^{2} - 2 ρ x y + ρ^{2} x^{2}

$\epsilon^2=(y-\rho x)^2 = y^2 -2\rho xy + \rho^2 x^2$

ρ^{2}

$\rho^2$

x^{2}

$x^2$

— Alecos Papadopoulos

Tôi đoán là . Hãy tưởng tượng và , sau đó ước tính được mong đợi.

\frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (y_{i} - \bar{y})

$\frac{1}{n}\sum_{i=1}^n(x_i-\bar x)(y_i - \bar y)$

n = 2

$n=2$

y_{1} = y_{2}

$y_1=y_2$

0

$0$

— Stéphane Laurent

@AlecosPapadopoulos . Thuật ngữ bị hủy bởi mẫu số , vì vậy thuật ngữ duy nhất từ dữ liệu đóng góp trong khả năng đăng nhập ban đầu của bạn là . Nhưng điều này cũng ngay lập tức từ nhân tố nổi tiếng , . Mặc dù các khiếu nại khác của tôi đều sai, vì tôi đã bỏ qua việc bao gồm thuật ngữ trong đó.

x^{2} + y^{2} - 2 ρ x y = (1 - ρ^{2}) x^{2} + (y - ρ x)^{2}

$x^2 + y^2 - 2\rho x y = (1 - \rho^2) x^2 + (y - \rho x)^2$

(1 - ρ^{2}) x^{2}

$(1 - \rho^2) x^2$

(1 - ρ^{2})

$(1 - \rho^2)$

(y - ρ x)^{2} / (1 - ρ^{2})

$(y - \rho x)^2 / (1 - \rho^2)$

X \sim N (μ_{X}, σ_{X}^{2})

$X \sim N(\mu_X, \sigma^2_X)$

[Y | X] \sim N (μ_{Y} + ρ_{X} \frac{σ_{Y}}{σ_{X}} (X - μ_{X}), σ_{Y | X}^{2} {\sqrt{1 - ρ^{2}}}^{2})

$[Y|X] \sim N(\mu_Y + \rho_X \frac{\sigma_Y}{\sigma_X} (X - \mu_X), \sigma^2_{Y|X} \sqrt{1 - \rho^2}^2)$

σ_{Y} / σ_{X}

$\sigma_Y/\sigma_X$

— anh chàng

Theo các điều kiện đã nêu ( và ), hàm khả năng cho một mẫu ngẫu nhiên có kích thước là $\mu_X = \mu_Y = 0$ $\sigma_X = \sigma_Y = 1$ $n$

L (ρ | X, Y) = \frac{1}{(2 π [1 - ρ^{2}])^{n / 2}} \exp [- \frac{1}{2 (1 - ρ^{2})} (X^{'} X - 2 ρ X^{'} Y + Y^{'} Y)] .

$L(\rho\; |\; X, Y) = \frac{1}{(2\pi[1-\rho^2])^{n/2}}\exp \left[-\frac{1}{2(1-\rho^2)}(X'X - 2\rho X'Y + Y'Y)\right].$

Bây giờ hãy tìm khả năng đăng nhập và lấy đạo hàm đối với . Tiếp theo, đặt giá trị bằng 0, giải cho . Tất nhiên bạn nên làm một số thử nghiệm thích hợp để cho thấy những gì bạn tìm thấy trên thực tế là mức tối đa toàn cầu. $\rho$ $\hat{\rho}$

— Dennis
nguồn