Công cụ ước tính James-Stein với phương sai không bằng nhau

Mỗi tuyên bố tôi tìm thấy về công cụ ước tính James-Stein đều cho rằng các biến ngẫu nhiên được ước tính có cùng phương sai (và đơn vị).

Nhưng tất cả các ví dụ này cũng đề cập rằng công cụ ước tính JS có thể được sử dụng để ước tính số lượng không liên quan gì đến nhau. Các ví dụ wikipedia là tốc độ ánh sáng tiêu thụ, trà tại Đài Loan, và trọng lượng heo ở Montana. Nhưng có lẽ các phép đo của bạn trên ba đại lượng này sẽ có phương sai "thật" khác nhau. Điều này có vấn đề?

Mối quan hệ này thành một vấn đề khái niệm lớn hơn mà tôi không hiểu, liên quan đến câu hỏi này: James-Stein ước: Làm thế nào đã làm Efron và Morris tính toán trong yếu tố co rút ví dụ bóng chày của họ? $\sigma^2$ Chúng tôi tính toán hệ số hao hụt như sau: $c$

c = 1 - \frac{(k - 3) σ^{2}}{\sum (y - \bar{y})^{2}}

$c = 1 - \frac{(k-3) \sigma^2} {\sum (y - \bar{y})^2}$

Theo trực giác, tôi sẽ nghĩ rằng thuật ngữ thực sự là - khác nhau cho mỗi số lượng được ước tính. Nhưng cuộc thảo luận trong câu hỏi đó chỉ nói về việc sử dụng phương sai gộp ... $\sigma^2$ $\sigma^2_i$

Tôi thực sự sẽ đánh giá cao nếu bất cứ ai có thể làm sáng tỏ sự nhầm lẫn này!

estimation shrinkage steins-phenomenon

— exp1orer
nguồn

Nếu phương sai là chúng ta có thể nhân bội cho để quay lại vấn đề James-Stein. Nếu không xác định, nhưng mỗi "quan sát" trong bài toán là một giá trị trung bình mẫu được tính toán trên cơ sở các quan sát chúng ta có thể ước tính với một số và hy vọng rằng chúng ta cũng có được tình huống James-Stein nếu chúng ta nhân trước thay vào đó.

D = diag (σ_{1}^{2}, \dots, σ_{n}^{2})

$D = \mbox{diag}(\sigma_1^2, \ldots, \sigma_n^2)$

D^{- 1 / 2}

$D^{-1/2}$

D

$D$

m_{i}

$m_i$

D

$D$

\hat{D}

$\hat D$

{\hat{D}}^{- 1 / 2}

$\hat D^{-1/2}$

— anh chàng

@guy: đây là một gợi ý hợp lý (+1), tuy nhiên điều này sẽ dẫn đến cùng một hệ số co rút cho tất cả các biến, trong khi người ta muốn thu nhỏ các biến khác nhau, tùy thuộc vào phương sai / độ không đảm bảo của chúng. Xem câu trả lời mà tôi vừa đăng.

— amip nói rằng Phục hồi lại

@amoeba Chắc chắn rồi; Tôi không cho rằng công cụ ước tính của tôi là thực tế, chỉ có điều nó minh họa tại sao mọi người nói những điều OP đề cập trong đoạn thứ hai của anh ấy / cô ấy.

— anh chàng

Câu hỏi này đã được trả lời rõ ràng trong loạt bài viết cổ điển về công cụ ước tính James-Stein trong bối cảnh Empirical Bayes được viết vào những năm 1970 bởi Efron & Morris. Tôi chủ yếu đề cập đến:

Efron và Morris, 1973, Quy tắc ước tính của Stein và các đối thủ cạnh tranh của nó - Phương pháp tiếp cận thực nghiệm Bayes
Efron và Morris, 1975, Phân tích dữ liệu với Công cụ ước tính của Stein và các khái quát của nó
Efron và Morris, 1977, Nghịch lý của Stein về thống kê

$c$

Tuy nhiên, họ tiến hành đưa ra một ví dụ khác, đó là ước tính tỷ lệ nhiễm toxoplasmosis ở một số thành phố ở El Salvador. Ở mỗi thành phố, số lượng người khác nhau được khảo sát và do đó, các quan sát riêng lẻ (tỷ lệ nhiễm toxoplasmosis ở mỗi thành phố) có thể được coi là có phương sai khác nhau (số người được khảo sát càng thấp, phương sai càng cao). Trực giác chắc chắn là các điểm dữ liệu có phương sai thấp (độ không đảm bảo thấp) không cần phải được thu hẹp mạnh như các điểm dữ liệu có phương sai cao (độ không đảm bảo cao). Kết quả phân tích của họ được hiển thị trên hình dưới đây, nơi điều này thực sự có thể được nhìn thấy đang xảy ra:

nhập mô tả hình ảnh ở đây

Dữ liệu và phân tích tương tự cũng được trình bày trong bài báo kỹ thuật năm 1975 nhiều hơn, trong một hình thanh lịch hơn nhiều (tiếc là không hiển thị các phương sai riêng lẻ), xem Phần 3:

nhập mô tả hình ảnh ở đây

X_{i} | θ_{i} \sim N (θ_{i}, D_{i}) θ_{i} \sim N (0, A)

$X_i|\theta_i \sim \mathcal N(\theta_i, D_i)\\ \theta_i \sim \mathcal N(0, A)$

A

$A$

D_{i} = 1

$D_i=1$

1 / (1 + A)

$1/(1+A)$

(k - 2) / \sum X_{j}^{2}

$(k-2)/\sum X_j ^2$

θ_{i}

$\theta_i$

{\hat{θ}}_{i} = (1 - \frac{1}{1 + A}) X_{i} = (1 - \frac{k - 2}{\sum X_{j}^{2}}) X_{i},

$\hat \theta_i = \left(1-\frac{1}{1+A}\right)X_i = \left(1-\frac{k-2}{\sum X_j^2}\right)X_i,$

$D_i \ne 1$

{\hat{θ}}_{i} = (1 - \frac{D_{i}}{D_{i} + A}) X_{i}

$\hat \theta_i = \left(1-\frac{D_i}{D_i+A}\right)X_i$

A

$A$

\hat{A}

$\hat A$

$D_j$ $\hat A_i$ $k$

Phần có liên quan trong bài viết năm 1973 là Phần 8, và nó hơi khó đọc hơn. Thật thú vị, họ có một nhận xét rõ ràng ở đó về đề xuất của @guy trong các bình luận ở trên:

$\tilde x_i = D_i^{-1/2} x_i, \tilde \theta_i = D_i^{-1/2} \theta_i$ $\tilde x_i \sim \mathcal N(\tilde \theta_i, 1)$ $\theta_i$
${\hat{θ}}_{i} = (1 - \frac{k - 2}{\sum [X_{j}^{2} / D_{j}]}) X_{i} .$ $\hat \theta_i = \left(1-\frac{k-2}{\sum [X_j^2 / D_j]}\right)X_i.$ $X_i$

$\hat A_i$

— amip nói phục hồi Monica
nguồn