Thông tin của Fisher cho

Tôi đã thấy nhiều lần mọi người sử dụng phương pháp Delta để tìm phân phối tiệm cận của , hệ số tương quan mẫu, cho dữ liệu thông thường bivariate. Phân phối này được đưa ra bởi $r$

\sqrt{n} (r - ρ) \overset{D}{\to} N (0, {(1 - ρ^{2})}^{2})

$\sqrt{n} \left( r-\rho \right) \xrightarrow{D} \mathcal{N} \left(0, \left(1-\rho^2\right)^2 \right)$

và đây là một kết quả nổi tiếng (tôi biết về biến đổi z nhưng nó không cần thiết trong bối cảnh này). Tôi hiểu phương pháp nhưng điều tôi đã tự hỏi là tại sao họ không làm điều gì đó đơn giản hơn. Bằng sự bất biến của các mles của phương tiện và phương sai mẫu, dễ dàng chỉ ra rằng hệ số tương quan mẫu trên thực tế là mle cho . Bây giờ vì đây là một mle, trong các điều kiện đều đặn, nó nên tuân theo sự phân phối tiệm cận của mle, cụ thể là $\rho$

\sqrt{n} (r - ρ) \overset{D}{\to} N (0, {Tôi}^{- 1} (ρ))

$\sqrt{n} \left(r - \rho \right)\xrightarrow{D} \mathcal{N} \left(0, I^{-1} (\rho) \right)$

trong đó là thông tin của Fisher cho . Tất cả những gì còn lại bây giờ là tìm . Phân biệt hai lần nhật ký của phân phối chuẩn bivariate đối với và mang theo kỳ vọng tiêu cực, tôi tin rằng một người đến $I(\rho)$ $\rho$ $I(\rho)$ $\rho$

Tôi (ρ) = = \frac{1 + ρ^{2}}{{(1 - ρ^{2})}^{2}}

$I(\rho) = \frac{1+\rho^2}{\left(1-\rho^2\right)^2}$

trong đó, giả sử tôi đã không phạm sai lầm trong tính toán dài, rất khác so với phương sai tiệm cận ở trên, ít nhất là không quá nhỏ . Tôi thậm chí đã chạy một vài mô phỏng cho thấy phương pháp delta vượt trội hơn nhiều trong hầu hết các trường hợp. Phương sai tiệm cận nhỏ hơn phù hợp với những gì người ta mong đợi từ mle, tuy nhiên hóa ra đó là một xấp xỉ rất xấu. $\rho$

Không phải là tôi đã phạm sai lầm ở đâu đó, mặc dù tôi đã kiểm tra nhiều lần. Nếu đó không phải là trường hợp sau đó, có một sai lầm khái niệm trong lý luận trên? Tôi đã xem một số cuốn sách nổi tiếng về suy luận và không nơi nào họ đề cập đến Thông tin Fisher cho , điều mà tôi cũng thấy khá khó hiểu. $\rho$

Tôi sẽ đánh giá cao bất kỳ cái nhìn sâu sắc. Cảm ơn bạn.

— JohnK
nguồn

Hãy xem câu trả lời này của tôi, stats.stackexchange.com/a/111963/28746 Tôi không thể nói nếu nó có liên quan đến tình huống của bạn, bởi vì không rõ câu hỏi của bạn về phương tiện và phương sai được xử lý như thế nào.

— Alecos Papadopoulos

Giá trị của

I (ρ)

$I(\rho)$ bạn tìm thấy là chính xác.

— Alecos Papadopoulos

OP đã làm rõ trong một bình luận rằng ông kiểm tra phân phối chuẩn bivariate tiêu chuẩn , với các phương tiện và phương sai được cố định bằng 0 và thống nhất tương ứng,

f (x, y) = = \frac{1}{2 π \sqrt{1 - ρ^{2}}} điểm kinh nghiệm {- \frac{x^{2} + y^{2} - 2 ρ x y}{2 (1 - ρ^{2})}}

$f(x,y) = \frac{1}{2 \pi \sqrt{1-\rho^2}} \exp\left\{-\frac{x^2 +y^2 -2\rho xy}{2(1-\rho^2)}\right\}$

Đổi lại, điều này làm cho phân phối trở thành một thành viên của gia đình hàm mũ cong , và, như tôi đã chỉ ra trong câu trả lời của mình cho bài đăng này là công cụ ước tính khả năng tối đa cho $\rho$ trong trường hợp như vậy không bằng hệ số tương quan mẫu. Cụ thể hệ số tương quan mẫu là

\tilde{r} = = \frac{1}{n} Σ_{Tôi = = 1}^{n} x_{Tôi} y_{Tôi}

$\tilde r = \frac 1n\sum_{i=1}^nx_iy_i$

Biểu thị $\hat \rho$ mle cho $\rho$ và $(1/n)\sum_{i=1}^n(x_i^2 +y_i^2) = (1/n)S_2$ , là tổng của phương sai mẫu của $X$ và $Y$ , chúng tôi đạt được

\hat{ρ} : {\hat{ρ}}^{3} - \tilde{r} {\hat{ρ}}^{2} + [(1 / n) S_{2} - 1] \hat{ρ} - \tilde{r} = = 0

$\hat \rho: \hat \rho^3 -\tilde r \hat \rho^2 + \big[(1/n)S_2-1\big]\hat \rho -\tilde r=0$

\Rightarrow \hat{ρ} ({\hat{ρ}}^{2} - \tilde{r} \hat{ρ} + [(1 / n) S_{2} - 1]) = = \tilde{r}

$\Rightarrow \hat \rho\Big(\hat \rho^2 -\tilde r \hat \rho + \big[(1/n)S_2-1\big] \Big) = \tilde r$

Làm đại số, không khó để kết luận rằng chúng ta sẽ có được $\hat \rho = \tilde r$ nếu và chỉ nếu, $(1/n)S_2 =2$ , tức là chỉ khi điều đó xảy ra thì tổng phương sai mẫu bằng tổng phương sai thực sự. Vì vậy, nói chung cho các mẫu hữu hạn,

\hat{ρ} \neq \tilde{r}

$\hat \rho \neq \tilde r$

Cả hai vẫn nhất quán, nhưng điều này một mình không ngụ ý rằng sự phân phối tiệm cận của hệ số tương quan mẫu sẽ đạt được ràng buộc Cramer-Rao, là kết quả được tìm thấy bởi OP. Và nó không.

— Alecos Papadopoulos
nguồn

Nhưng không phải

r

$r$ mle cho

ρ

$\rho$ ? Sự bất biến của mle vẫn đang diễn ra phải không?

— JohnK

@ John Không Không, đây chính xác là vấn đề ở đây. Công cụ ước tính Phương pháp Khoảnh khắc và mle cho

ρ

$\rho$ không trùng

— Alecos Papadopoulos

Cám ơn giải thích rõ ràng. Dường như với tôi rằng không có giải pháp dạng đóng cho mle của

ρ

$\rho$ Nhưng nếu người ta giải quyết nó theo cách lặp, thông tin Fisher ngược trong trường hợp đó là phương sai tiệm cận, phải không? Một lần nữa điều này nhấn mạnh hiệu quả của mle, so với các ước tính mẹ.

— JohnK

@ John. Thật vậy, không có lý do để sử dụng các công thức giải chính xác khủng khiếp cho một phương trình bậc ba. Và mle sẽ đạt được thông tin Fisher nghịch đảo không có triệu chứng.

— Alecos Papadopoulos

Tôi tìm thấy một tài liệu tham khảo hữu ích về chủ đề này, trong trường hợp bạn muốn xem qua. Nếu bạn có Lý thuyết ước tính điểm của Lehmann và Casella, ấn bản thứ 2, trong các kệ của bạn, bạn có thể tìm thấy Ví dụ 6.5, trang 472 chiếu sáng. Thật thú vị, có vẻ như nếu bạn cũng muốn ước tính phương sai của phân phối chuẩn bivariate thì đó là phương trình đầu tiên của tôi xác định phương sai tiệm cận của

\hat{r}

$\widehat{r}$ .

— JohnK