Trực giác đằng sau lý do tại sao nghịch lý của Stein chỉ áp dụng trong kích thước

Ví dụ của Stein cho thấy ước tính khả năng tối đa của biến phân phối thông thường với các phương tiện và phương sai là không thể chấp nhận được (theo hàm mất vuông) iff . Để có bằng chứng rõ ràng, hãy xem chương đầu tiên của Suy luận quy mô lớn: Phương pháp Bay theo kinh nghiệm để ước tính, kiểm tra và dự đoán của Bradley Effron. $n$ $\mu_1,\ldots,\mu_n$ $1$ $n\ge 3$

Điều này rất đáng ngạc nhiên với tôi lúc đầu, nhưng có một số trực giác đằng sau lý do tại sao người ta có thể mong đợi ước tính tiêu chuẩn là không thể chấp nhận được (đáng chú ý nhất là, nếu , sau đó , như được nêu trong bài báo gốc của Stein, được liên kết đến bên dưới). $x \sim \mathcal N(\mu,1)$ $\mathbb{E}\|x\|^2\approx \|\mu\|^2+n$

Câu hỏi của tôi là khá: Tài sản nào của $n$ không gian ba chiều (đối với $n\ge 3$ ) làm $\mathbb{R}^2$ thiếu tạo điều kiện ví dụ Stein không? Câu trả lời có thể có thể là về độ cong của không gian $n$ , hoặc một cái gì đó hoàn toàn khác.

Nói cách khác, tại sao MLE được chấp nhận trong $\mathbb{R}^2$ ?

Chỉnh sửa 1: Đáp lại mối quan tâm của @mpiktas về 1.31 sau 1.30:

E_{μ} (‖ z - \hat{μ} ‖^{2}) = E_{μ} (S {(\frac{N - 2}{S})}^{2}) = E_{μ} (\frac{(N - 2)^{2}}{S}) .

$E_\mu\left(\|z-\hat{\mu}\|^2\right)=E_\mu\left(S\left(\frac{N-2}{S}\right)^2\right)=E_\mu\left(\frac{(N-2)^2}{S}\right).$

\hat{μ_{i}} = (1 - \frac{N - 2}{S}) z_{i}

$\hat{\mu_i} = \left(1-\frac{N-2}{S}\right)z_i$ nên

E_{μ} (\frac{\partial \hat{μ_{i}}}{\partial z_{i}}) = E_{μ} (1 - \frac{N - 2}{S} + 2 \frac{z_{i}^{2}}{S^{2}}) .

$E_\mu\left(\frac{\partial\hat{\mu_i}}{\partial z_i} \right)=E_\mu\left( 1-\frac{N-2}{S}+2\frac{z_i^2}{S^2}\right).$ Vì vậy, chúng tôi có:

2 \sum_{i = 1}^{N} E_{μ} (\frac{\partial \hat{μ_{i}}}{\partial z_{i}}) = 2 N - 2 E_{μ} (\frac{N (N - 2)}{S}) + 4 E_{μ} (\frac{(N - 2)}{S}) = 2 N - E_{μ} \frac{2 (N - 2)^{2}}{S} .

$2\sum_{i=1}^N E_\mu\left(\frac{\partial\hat{\mu_i}}{\partial z_i} \right)=2N-2E_\mu\left(\frac{N(N-2)}{S}\right)+4E_\mu\left(\frac{(N-2)}{S}\right)\\=2N-E_\mu\frac{2(N-2)^2}{S}.$

Chỉnh sửa 2 : Trong bài báo này , Stein chứng minh rằng MLE được chấp nhận cho $N=2$ .

— Har
nguồn

@mpiktas Nó không thể áp dụng như vẻ ngoài của nó. Tình huống tương tự như ANOVA sau khi chúng tôi áp dụng giảm mức độ đầy đủ. Điều này gợi ý rằng các ước tính ANOVA thông thường của nhóm có nghĩa là không thể chấp nhận được miễn là chúng tôi đang cố gắng ước tính phương tiện của hơn 3 nhóm (hóa ra là đúng). Tôi khuyên bạn nên xem xét các bằng chứng rằng MLE có thể được chấp nhận cho và xem họ thất bại khi cố gắng mở rộng đến thay vì chỉ nhìn vào các bằng chứng mà công cụ ước tính của Stein thực hiện, điều đó dễ dàng một lần bạn thực sự có công cụ ước tính trong tâm trí.

N = 1, 2

$N = 1, 2$

N = 3

$N = 3$

— anh chàng

... và biết sử dụng Bổ đề của Stein. Tôi đoán nó thực sự ít hơn một chút về phía trước so với tôi 6 phút trước.

— anh chàng

Tôi đồng ý. Bạn có bất kỳ tài liệu tham khảo tốt cho điều đó (ngoài các giấy tờ gốc). Tôi tìm thấy bài báo gốc của Stein tính toán quá mức và hy vọng rằng ai đó sẽ phát triển một phương pháp khác trong năm mươi năm qua.

— Har

Bằng chứng mà tôi được dạy là của Brown và Hwang từ năm 1983, sử dụng một phương pháp được đề xuất bởi Blyth từ đầu những năm 1950 tôi tin. Nó khá chung chung (tổng quát hơn kết quả của Stein ở chỗ nó hoạt động cho gia đình theo cấp số nhân) và, tôi tin rằng, hoàn toàn khác với Stein. Nhưng nó không tầm thường.

— anh chàng

@Har câu hỏi tuyệt vời! (+1)

— suncoolsu

Câu trả lời:

Sự phân đôi giữa các trường hợp và cho sự chấp nhận của MLE về giá trị trung bình của một biến ngẫu nhiên thông thường đa biến -chiều đa chiều chắc chắn gây sốc. $d < 3$ $d \geq 3$ $d$

Có một ví dụ rất nổi tiếng khác về xác suất và thống kê, trong đó có sự phân đôi giữa các trường hợp và . Đây là sự tái diễn của một bước đi ngẫu nhiên đơn giản trên mạng . Đó là, chiều đơn giản đi bộ ngẫu nhiên là tái phát trong 1 hoặc 2 chiều, nhưng là thoáng qua trong chiều. Tương tự thời gian liên tục (dưới dạng chuyển động Brown) cũng giữ. $d < 3$ $d \geq 3$ $\mathbb{Z}^d$ $d$ $d \geq 3$

Hóa ra hai người có liên quan mật thiết với nhau.

Larry Brown đã chứng minh rằng hai câu hỏi về cơ bản là tương đương nhau. Đó là, công cụ ước lượng bất biến tốt nhất của một vectơ trung bình đa biến -chiều có thể được chấp nhận khi và chỉ khi chuyển động Brownian -dimensional được tái diễn. $\hat{\mu} \equiv \hat{\mu}(X) = X$ $d$ $d$

Trong thực tế, kết quả của ông đi xa hơn nhiều . Đối với bất kỳ công cụ ước tính Bayes tổng quát (nghĩa là Bayes) với rủi ro bị ràng buộc (tổng quát) , có một sự khuếch tán -chiều tương ứng rõ ràng (!) công cụ ước tính được chấp nhận khi và chỉ khi sự khuếch tán tương ứng của nó được tái diễn. $\tilde{\mu} \equiv \tilde{\mu}(X)$ $L_2$ $d$ $\tilde{\mu}$

Giá trị trung bình của địa phương khuếch tán này về cơ bản là sự khác biệt giữa hai ước lượng, tức là, và hiệp phương sai của sự khuếch tán là . Từ điều này, dễ dàng nhận thấy rằng đối với trường hợp của MLE , chúng tôi phục hồi (thay đổi kích thước) chuyển động Brown. $\tilde{\mu} - \hat{\mu}$ $2 I$ $\tilde{\mu} = \hat{\mu} = X$

Vì vậy, trong một số ý nghĩa, chúng ta có thể xem câu hỏi về khả năng chấp nhận thông qua lăng kính của các quá trình ngẫu nhiên và sử dụng các đặc tính được nghiên cứu kỹ lưỡng của các khuếch tán để đi đến kết luận mong muốn.

Người giới thiệu

L. Brown (1971). Công cụ ước tính được chấp nhận, khuếch tán định kỳ và các vấn đề giá trị biên không hòa tan . Ann. Môn Toán. Thống kê , tập 42, không. 3, trang 855 bóng903.
RN Bhattacharya (1978). Tiêu chí cho sự tái phát và sự tồn tại của các biện pháp bất biến cho sự khuếch tán đa chiều . Ann. Có lẽ. , tập 6, không 4, 541 Ảo553.

— hồng y
nguồn

Trên thực tế, một cái gì đó như thế này là những gì tôi hy vọng. Một kết nối đến một lĩnh vực khác của toán học (có thể là hình học vi phân hoặc các quá trình ngẫu nhiên) cho thấy rằng sự chấp nhận đối với không chỉ là một sự thay đổi. Câu trả lời chính xác!

n = 2

$n=2$

— Har

Lấy cảm hứng từ câu trả lời của bạn, tôi đã cung cấp một số chi tiết và cũng thêm một lời giải thích hình học để đáp ứng với vấn đề này trên MO: mathoverflow.net/questions/93745/ Kẻ

— Henry.L

@cardinal đã đưa ra một câu trả lời tuyệt vời (+1), nhưng toàn bộ vấn đề vẫn còn bí ẩn trừ khi người ta quen thuộc với các bằng chứng (còn tôi thì không). Vì vậy, tôi nghĩ rằng câu hỏi vẫn còn là lý do trực quan mà nghịch lý của Stein không xuất hiện trong và . $\mathbb R$ $\mathbb R^2$

Tôi thấy rất hữu ích một viễn cảnh hồi quy được đưa ra trong Stephen Stigler, 1990, Một quan điểm của Galton về các công cụ ước tính co ngót . Xem xét các phép đo độc lập , mỗi phép đo một số cơ bản (không quan sát được) và được lấy mẫu từ . Nếu bằng cách nào đó chúng ta biết , chúng ta có thể tạo một biểu đồ phân tán của các : $X_i$ $\theta_i$ $\mathcal N(\theta_i, 1)$ $\theta_i$ $(X_i, \theta_i)$

Nghịch lý của Stein: viễn cảnh hồi quy

Đường chéo tương ứng với độ nhiễu bằng không và ước lượng hoàn hảo; trong thực tế, nhiễu là khác không và do đó các điểm bị dịch chuyển khỏi đường chéo theo hướng ngang . Tương ứng, có thể được xem là đường hồi quy của trên . Tuy nhiên, chúng tôi biết và muốn ước tính , vì vậy chúng tôi nên xem xét một đường hồi quy của trên - sẽ có độ dốc khác, nằm ngang , như được hiển thị trên hình (đường nét đứt). $\theta = X$ $\theta = X$ $X$ $\theta$ $X$ $\theta$ $\theta$ $X$

Trích dẫn từ bài báo của Stigler:

Quan điểm của người Galton về nghịch lý Stein này khiến nó gần như trong suốt. Công cụ ước tính "thông thường" được lấy từ dòng hồi quy lý thuyết của trên . Dòng đó sẽ hữu ích nếu mục tiêu của chúng tôi là dự đoán từ , nhưng vấn đề của chúng tôi là ngược lại, cụ thể là dự đoán từ bằng cách sử dụng tổng các lỗi bình phương như một tiêu chí. Đối với tiêu chí đó, các ước lượng tuyến tính tối ưu được đưa ra bởi dòng hồi quy bình phương nhỏ nhất của trên $\hat \theta_i^0 = X_i$ $X$ $\theta$ $X$ $\theta$ $\theta$ $X$ $\sum (\theta_i - \hat \theta_i)^2$ $\theta$ $X$ và các công cụ ước tính James-Stein và Efron-Morris chính là công cụ ước tính của công cụ ước tính tuyến tính tối ưu đó. Các công cụ ước tính "thông thường" có nguồn gốc từ đường hồi quy sai, công cụ ước tính James-Stein và Efron-Morris có nguồn gốc từ xấp xỉ với đường hồi quy đúng.

Và bây giờ đến bit quan trọng (nhấn mạnh thêm):

Thậm chí chúng ta có thể thấy tại sao là cần thiết: nếu hoặc , dòng bình phương nhỏ nhất của trên phải đi qua các điểm và do đó cho hoặc , hai đường hồi quy (của trên và của trên ) phải đồng ý tại mỗi . $k\ge 3$ $k=1$ $2$ $\theta$ $X$ $(X_i, \theta_i)$ $k=1$ $2$ $X$ $\theta$ $\theta$ $X$ $X_i$

Tôi nghĩ điều này làm cho nó rất rõ ràng những gì đặc biệt về và . $k=1$ $k=2$

— amip nói phục hồi Monica
nguồn