Tại sao công cụ ước tính James-Stein được gọi là công cụ ước tính co ngót của hồi giáo?

Tôi đã đọc về công cụ ước tính James-Stein. Nó được định nghĩa, trong ghi chú này , như

\hat{θ} = (1 - \frac{p - 2}{‖ X ‖^{2}}) X

$\hat{\theta}=\left(1 - \frac{p-2}{\|X\|^2}\right)X$

Tôi đã đọc bằng chứng nhưng tôi không hiểu tuyên bố sau:

Về mặt hình học, công cụ ước tính James Gian Stein thu nhỏ từng thành phần của $X$ về phía gốc ...

Chính xác thì "thu nhỏ từng thành phần của $X$ về nguồn gốc" nghĩa là gì? Tôi đã nghĩ về một cái gì đó như

‖ \hat{θ} - 0 ‖^{2} < ‖ X - 0 ‖^{2},

$\|\hat{\theta} - 0\|^2 < \|X - 0\|^2,$ điều này đúng trong trường hợp này miễn là

(p + 2) < ‖ X ‖^{2}

$(p+2) < \|X\|^2$ , vì

‖ \hat{θ} ‖ = \frac{‖ X ‖^{2} - (p + 2)}{‖ X ‖^{2}} ‖ X ‖ .

$\|\hat{\theta}\| = \frac{\|X\|^2 - (p+2)}{\|X\|^2} \|X\|.$

Đây có phải là ý nghĩa của mọi người khi họ nói "thu nhỏ về không" bởi vì theo nghĩa chuẩn $L^2$ , công cụ ước tính JS gần bằng 0 hơn $X$ ?

Cập nhật kể từ ngày 22/09/2017 : Hôm nay tôi nhận ra rằng có lẽ tôi đang quá phức tạp. Có vẻ như mọi người thực sự có nghĩa là một khi bạn nhân $X$ với một cái gì đó nhỏ hơn $1$ , cụ thể là thuật ngữ $\frac{\|X\|^2 - (p + 2)}{\|X\|^2}$ , mỗi thành phần của $X$ sẽ nhỏ hơn trước đây.

— 3x89g2
nguồn

Một bức tranh đôi khi đáng giá cả ngàn lời nói, vì vậy hãy để tôi chia sẻ nó với bạn. Dưới đây bạn có thể thấy một minh họa xuất phát từ nghịch lý của Bradley Efron (1977) trong thống kê của Stein . Như bạn có thể thấy, những gì người ước tính của Stein làm là di chuyển từng giá trị gần với mức trung bình lớn. Nó làm cho các giá trị lớn hơn trung bình lớn nhỏ hơn và các giá trị nhỏ hơn trung bình lớn, lớn hơn. Bằng cách thu nhỏ, chúng tôi có nghĩa là di chuyển các giá trị về mức trung bình hoặc về 0 trong một số trường hợp - như hồi quy chính quy - thu nhỏ các tham số về 0.

Tất nhiên, không chỉ về việc thu nhỏ chính nó, mà những gì Stein (1956) và James và Stein (1961) đã chứng minh, là công cụ ước tính của Stein chi phối công cụ ước tính khả năng tối đa về tổng sai số bình phương,

E_{μ} (‖ {\hat{μ}}^{J S} - μ ‖^{2}) < E_{μ} (‖ {\hat{μ}}^{M L E} - μ ‖^{2})

$E_\mu(\| \boldsymbol{\hat\mu}^{JS} - \boldsymbol{\mu} \|^2) < E_\mu(\| \boldsymbol{\hat\mu}^{MLE} - \boldsymbol{\mu} \|^2)$

trong đó , là công cụ ước tính của Stein và , trong đó cả hai công cụ ước tính đều được ước tính trên mẫu . Bằng chứng được đưa ra trong các giấy tờ gốc và phụ lục của giấy bạn tham khảo. Nói một cách dễ hiểu, những gì họ đã thể hiện là nếu bạn đồng thời thực hiện lần đoán, thì xét về tổng bình phương lỗi, bạn sẽ làm tốt hơn bằng cách thu nhỏ chúng, so với việc bám vào dự đoán ban đầu của bạn. $\boldsymbol{\mu} = (\mu_1,\mu_2,\dots,\mu_p)'$ $\hat\mu^{JS}_i$ $\hat\mu^{MLE}_i = x_i$ $x_1,x_2,\dots,x_p$ $p > 2$

Cuối cùng, công cụ ước tính của Stein chắc chắn không phải là công cụ ước tính duy nhất mang lại hiệu ứng co ngót. Đối với các ví dụ khác, bạn có thể kiểm tra mục blog này hoặc sách phân tích dữ liệu Bayes được đề cập bởi Gelman et al. Bạn cũng có thể kiểm tra các luồng về hồi quy chính quy, ví dụ: Vấn đề nào làm phương pháp thu nhỏ giải quyết? hoặc khi nào nên sử dụng các phương pháp chính quy để hồi quy? , cho các ứng dụng thực tế khác của hiệu ứng này.

— Tim
nguồn

Bài viết có vẻ hữu ích và tôi sẽ đọc nó. Tôi đã cập nhật câu hỏi của tôi để giải thích thêm suy nghĩ của tôi. Bạn có thể xem? Cảm ơn!

— 3x89g2

@Tim Tôi nghĩ rằng đối số Misakov là hợp pháp ở chỗ công cụ ước tính James-Stein đưa công cụ ước tính của gần bằng 0 hơn MLE. Zero đóng vai trò trung tâm và trung tâm trong công cụ ước tính này và công cụ ước tính James-Stein có thể được xây dựng thu nhỏ về phía các trung tâm khác hoặc thậm chí không gian con (như trong George, 1986). Ví dụ, Efron và Morris (1973) co lại theo giá trị trung bình chung, tương đương với không gian con đường chéo.

θ

$\theta$

— Tây An