Quan điểm thống nhất về độ co ngót: mối quan hệ (nếu có) giữa nghịch lý của Stein, hồi quy sườn và hiệu ứng ngẫu nhiên trong các mô hình hỗn hợp là gì?

Hãy xem xét ba hiện tượng sau đây.

1. Nghịch lý của Stein: đưa ra một số dữ liệu từ phân phối chuẩn nhiều biến số trong $\mathbb R^n, \: n\ge 3$ , mẫu trung bình không phải là một ước lượng rất tốt của giá trị trung bình thật sự. Người ta có thể có được ước tính với sai số bình phương trung bình thấp hơn nếu người ta thu nhỏ tất cả các tọa độ của giá trị trung bình mẫu về 0 [hoặc đối với giá trị trung bình của chúng hoặc thực sự đối với bất kỳ giá trị nào, nếu tôi hiểu chính xác].

   Lưu ý: thường thì nghịch lý của Stein được hình thành thông qua việc chỉ xem xét một điểm dữ liệu duy nhất từ ; xin vui lòng sửa cho tôi nếu điều này là quan trọng và công thức của tôi ở trên là không chính xác.$\mathbb R^n$

2. Hồi quy độ dốc: đưa ra một số biến phụ thuộc và một số biến độc lập , hồi quy chuẩn có xu hướng để phù hợp với dữ liệu và dẫn đến hiệu suất ngoài mẫu kém. Người ta thường có thể giảm quá mức bằng cách thu nhỏ về 0: .$\mathbf y$$\mathbf X$$\beta = (\mathbf X^\top \mathbf X)^{-1} \mathbf X^\top \mathbf y$$\beta$$\beta = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y$

3. Hiệu ứng ngẫu nhiên trong các mô hình đa cấp / hỗn hợp: được đưa ra một số biến phụ thuộc (ví dụ: chiều cao của học sinh) phụ thuộc vào một số dự đoán phân loại (ví dụ: id trường và giới tính của học sinh), người ta thường khuyên nên coi một số dự đoán là 'ngẫu nhiên', nghĩa là giả sử rằng chiều cao của học sinh trung bình ở mỗi trường đến từ một số phân phối bình thường cơ bản. Điều này dẫn đến việc thu hẹp các ước tính về chiều cao trung bình của mỗi trường đối với giá trị trung bình toàn cầu.$y$

Tôi có cảm giác rằng tất cả những điều này là các khía cạnh khác nhau của cùng một hiện tượng "co rút", nhưng tôi không chắc chắn và chắc chắn thiếu một trực giác tốt về nó. Vì vậy, câu hỏi chính của tôi là: thực sự có một sự tương đồng sâu sắc giữa ba điều này, hay nó chỉ là một ngữ nghĩa bề ngoài? Chủ đề phổ biến ở đây là gì? Trực giác chính xác về nó là gì?

Ngoài ra, đây là một số phần của câu đố này không thực sự phù hợp với tôi:

• Trong hồi quy sườn, không được thu hẹp đồng đều; co rút sườn núi thực sự liên quan đến phân rã giá trị số ít của , với các hướng phương sai thấp được thu hẹp hơn (xem ví dụ: Các yếu tố của học thống kê 3.4.1). Nhưng công cụ ước tính James-Stein chỉ đơn giản lấy trung bình mẫu và nhân nó với một hệ số tỷ lệ. Làm thế nào mà phù hợp với nhau?$\beta$$\mathbf X$

  Cập nhật: xem Công cụ ước tính James-Stein với phương sai không bằng nhau và ví dụ ở đây liên quan đến phương sai của các hệ số .$\beta$

• Giá trị trung bình mẫu là tối ưu trong các kích thước dưới 3. Điều đó có nghĩa là khi chỉ có một hoặc hai yếu tố dự báo trong mô hình hồi quy, hồi quy sườn sẽ luôn tệ hơn bình phương tối thiểu thông thường? Trên thực tế, khi nghĩ về nó, tôi không thể tưởng tượng được một tình huống trong 1D (nghĩa là hồi quy đơn giản, không bội số) trong đó co rút sườn núi sẽ có lợi ...

  Cập nhật: Không. Xem Dưới chính xác những điều kiện nào là hồi quy sườn có thể cung cấp một cải tiến so với hồi quy bình phương nhỏ nhất bình thường?

• Mặt khác, giá trị trung bình mẫu luôn không tối ưu ở các kích thước trên 3. Điều đó có nghĩa là với hơn 3 yếu tố hồi quy sườn luôn luôn tốt hơn OLS, ngay cả khi tất cả các yếu tố dự đoán không tương quan (trực giao)? Thông thường hồi quy sườn núi được thúc đẩy bởi tính đa hình và nhu cầu "ổn định" thuật ngữ.$(\mathbf X^\top \mathbf X)^{-1}$

  Cập nhật: Có! Xem chủ đề tương tự như trên.

• Thường có một số cuộc thảo luận sôi nổi về việc liệu các yếu tố khác nhau trong ANOVA nên được đưa vào dưới dạng hiệu ứng cố định hay ngẫu nhiên. Không phải chúng ta, theo cùng một logic, luôn luôn coi một yếu tố là ngẫu nhiên nếu nó có nhiều hơn hai cấp độ (hoặc nếu có nhiều hơn hai yếu tố? Bây giờ tôi có nhầm lẫn không)?

  Cập nhật : ?

---

Cập nhật: Tôi đã nhận được một số câu trả lời xuất sắc, nhưng không có câu trả lời nào đủ cho một bức tranh lớn, vì vậy tôi sẽ để câu hỏi "mở". Tôi có thể hứa sẽ trao phần thưởng ít nhất 100 điểm cho câu trả lời mới sẽ vượt qua câu trả lời hiện có. Tôi chủ yếu tìm kiếm một quan điểm thống nhất có thể giải thích hiện tượng chung của sự co ngót thể hiện như thế nào trong các bối cảnh khác nhau và chỉ ra những khác biệt chính giữa chúng.

Kết nối giữa công cụ ước tính JamesTHER Stein và hồi quy sườn

$\mathbf y$$\boldsymbol \theta$$m$${\mathbf y} \sim N({\boldsymbol \theta}, \sigma^2 I)$

$$\widehat{\boldsymbol \theta}_{JS} = \left( 1 - \frac{(m-2) \sigma^2}{\|{\mathbf y}\|^2} \right) {\mathbf y}.$$ $\boldsymbol \theta$$\min_{\boldsymbol{\theta}} \|\mathbf{y}-\boldsymbol{\theta}\|^2 + \lambda\|\boldsymbol{\theta}\|^2 ,$ $$\widehat{\boldsymbol \theta}_{\mathrm{ridge}} = \frac{1}{1+\lambda}\mathbf y.$$ Dễ dàng thấy rằng hai công cụ ước tính có dạng giống nhau, nhưng chúng ta cần ước tính trong công cụ ước tính James-Stein và xác định trong hồi quy sườn qua xác thực chéo.$\sigma^2$$\lambda$

Kết nối giữa công cụ ước tính James lấy Stein và các mô hình hiệu ứng ngẫu nhiên

Trước tiên chúng ta hãy thảo luận về các mô hình hiệu ứng hỗn hợp / ngẫu nhiên trong di truyền học. Mô hình là Nếu không có hiệu ứng cố định và , mô hình sẽ trở thành tương đương với cài đặt của công cụ ước tính James-Stein, với một số Ý tưởng Bayes.

$$\mathbf {y}=\mathbf {X}\boldsymbol{\beta} + \boldsymbol{Z\theta}+\mathbf {e}, \boldsymbol{\theta}\sim N(\mathbf{0},\sigma^2_{\theta} I), \textbf{e}\sim N(\mathbf{0},\sigma^2 I).$$ $\mathbf {Z}=I$ $$\mathbf {y}=\boldsymbol{\theta}+\mathbf {e}, \boldsymbol{\theta}\sim N(\mathbf{0},\sigma^2_{\theta} I), \textbf{e}\sim N(\mathbf{0},\sigma^2 I),$$

Kết nối giữa các mô hình hiệu ứng ngẫu nhiên và hồi quy sườn

Nếu chúng tôi tập trung vào các mô hình hiệu ứng ngẫu nhiên ở trên, Ước tính tương đương để giải quyết vấn đề khi . Bằng chứng có thể được tìm thấy trong Chương 3 của Nhận dạng mẫu và học máy .

$$\mathbf {y}=\mathbf {Z\theta}+\mathbf {e}, \boldsymbol{\theta}\sim N(\mathbf{0},\sigma^2_{\theta} I), \textbf{e}\sim N(\mathbf{0},\sigma^2 I).$$ $$\min_{\boldsymbol{\theta}} \|\mathbf{y}-\mathbf {Z\theta}\|^2 + \lambda\|\boldsymbol{\theta}\|^2$$ $\lambda=\sigma^2/\sigma_{\theta}^2$

Kết nối giữa các mô hình hiệu ứng ngẫu nhiên (đa cấp) và mô hình di truyền

Trong mô hình hiệu ứng ngẫu nhiên ở trên, thứ nguyên của là và của là . Nếu chúng ta vector hóa là và lặp lại , thì chúng ta có cấu trúc phân cấp / cụm, cụm và mỗi cụm có đơn vị. Nếu chúng ta hồi quy trên lặp lại , thì chúng ta có thể thu được hiệu ứng ngẫu nhiên của trên cho mỗi cụm, mặc dù nó giống như hồi quy ngược.$\mathbf y$$m\times 1,$$\mathbf Z$$m \times p$$\mathbf Z$$(mp)\times 1,$$\mathbf y$$p$$m$$\mathrm{vec}(\mathbf Z)$$\mathbf y$$Z$$y$

Lời cảm ơn : ba điểm đầu tiên phần lớn được học từ hai bài báo tiếng Trung này, 1 , 2 .

Tôi sẽ để nó như một bài tập cho cộng đồng để đưa ra câu trả lời này, nhưng nói chung lý do tại sao các công cụ ước tính co rút sẽ * chiếm ưu thế * cụ ước lượng không thiên vị trong các mẫu hữu hạn là bởi vì công cụ ước tính Bayes không thể bị chi phối , và nhiều công cụ ước tính co ngót có thể được coi là Bayes. $^1$$^2$$^3$$^4$

Tất cả những điều này thuộc về aegis của Lý thuyết quyết định. Một tài liệu tham khảo đầy đủ, nhưng khá không thân thiện là "Lý thuyết ước tính điểm" của Lehmann và Casella. Có lẽ những người khác có thể kêu vang với các tài liệu tham khảo thân thiện hơn?

---

$^1$ Một ước lượng của tham số trên dữ liệu được thống trị bởi một ước lượng nếu với mọi rủi ro (ví dụ, bình Lỗi Square) của bằng hoặc lớn hơn và nhịp cho ít nhất một . Nói cách khác, bạn có hiệu suất tương đương hoặc tốt hơn cho ở mọi nơi trong không gian tham số.$\delta_1(X)$$\theta \in \Omega$$X$$\delta_2(X)$$\theta \in \Omega$$\delta_1$$\delta_2$$\delta_2$$\delta_1$$\theta$$\delta_2$

$^2$ cụ ước tính là Bayes (dưới mọi trường hợp mất lỗi bình phương) nếu đó là kỳ vọng sau của , được cung cấp dữ liệu, theo một số trước , ví dụ: , nơi kỳ vọng được thực hiện với hậu thế. Đương nhiên, các linh mục khác nhau dẫn đến những rủi ro khác nhau cho các tập hợp con khác nhau của . Một ví dụ về đồ chơi quan trọng là đặt tất cả trước khối lượng về điểm . Sau đó, bạn có thể chỉ ra rằng công cụ ước tính Bayes là hàm hằng$\theta$$\pi$$\delta(X) = E(\theta | X)$$\Omega$

$$\pi_{\theta_0} = \begin{cases} 1 & \mbox{if } \theta = \theta_0 \\ 0 & \theta \neq \theta_0 \end{cases}$$ $\theta_0$$\delta(X) = \theta_0$, tất nhiên có hiệu suất cực kỳ tốt tại và gần , và hiệu suất rất tệ ở nơi khác. Nhưng dù sao, nó không thể bị chi phối, bởi vì chỉ có công cụ ước tính đó mới dẫn đến rủi ro bằng 0 tại .$\theta_0$$\theta_0$

$^3$ Một câu hỏi tự nhiên là nếu bất kỳ công cụ ước tính nào không thể bị chi phối (được gọi là chấp nhận được , mặc dù sẽ không thể bất khuất được?) Có cần Bayes không? Câu trả lời là gần như. Xem "định lý lớp hoàn chỉnh."

$^4$ Ví dụ, hồi quy sườn núi phát sinh như một thủ tục Bayesian khi bạn đặt một bình thường (0, ) trước khi vào , và ngẫu nhiên mô hình hiệu quả phát sinh như một thủ tục Bayes thực nghiệm trong một khuôn khổ tương tự . Những lập luận này rất phức tạp bởi thực tế là phiên bản vanilla của các định lý chấp nhận Bayes cho rằng mọi tham số đều được đặt trước thích hợp. Ngay cả trong hồi quy sườn, điều đó không đúng, bởi vì "trước" được đặt trên phương sai$1/\lambda^2$$\beta$$\sigma^2$của thuật ngữ lỗi là hàm hằng (số đo Lebesgue), không phải là phân phối xác suất (có thể tích hợp) thích hợp. Tuy nhiên, nhiều công cụ ước tính Bayes "một phần" như vậy có thể được hiển thị để được chấp nhận bằng cách chứng minh rằng chúng là "giới hạn" của một chuỗi các công cụ ước tính là Bayes thích hợp. Nhưng bằng chứng ở đây trở nên khá phức tạp và tinh tế. Xem "công cụ ước tính vịnh tổng quát".

• James-Stein giả định rằng kích thước của phản hồi ít nhất là 3. Trong hồi quy sườn tiêu chuẩn, phản hồi là một chiều. Bạn đang nhầm lẫn số lượng dự đoán với kích thước phản hồi.

• Điều đó đang được nói, tôi thấy sự tương đồng giữa các tình huống đó, nhưng chính xác phải làm gì, ví dụ liệu một yếu tố nên được cố định hay ngẫu nhiên, áp dụng độ co rút bao nhiêu, nếu hoàn toàn phụ thuộc vào tập dữ liệu cụ thể. Ví dụ, các yếu tố dự đoán càng trực giao thì càng ít có ý nghĩa khi chọn hồi quy Ridge so với hồi quy chuẩn. Số lượng tham số càng lớn, càng có ý nghĩa để trích xuất phần trước từ chính bộ dữ liệu thông qua Empirical Bayes và sau đó sử dụng nó để thu nhỏ các ước tính tham số. Tỷ lệ tín hiệu trên tạp âm càng cao, lợi ích của co ngót càng nhỏ, v.v.

Như những người khác đã nói, kết nối giữa ba người là cách bạn kết hợp thông tin trước đó vào phép đo.

1. Trong trường hợp nghịch lý Stein, bạn biết rằng mối tương quan thực sự giữa các biến đầu vào phải bằng 0 (và tất cả các biện pháp tương quan có thể có, vì bạn muốn ngụ ý độc lập, không chỉ là không tương quan), do đó bạn có thể xây dựng một biến tốt hơn đơn giản mẫu trung bình và triệt tiêu các biện pháp tương quan khác nhau. Trong khung Bayes, bạn có thể xây dựng một ưu tiên mà theo nghĩa đen là cân nhắc các sự kiện dẫn đến mối tương quan giữa các phương tiện mẫu và lên cân các yếu tố khác.
2. Trong trường hợp hồi quy sườn, bạn muốn tìm một ước lượng tốt cho giá trị kỳ vọng có điều kiện E (y | x). Về nguyên tắc, đây là một vấn đề vô hạn và không xác định do chúng ta chỉ có số đo hữu hạn. Tuy nhiên, kiến ​​thức trước đó là chúng tôi đang tìm kiếm một hàm continuos mô hình hóa dữ liệu. Điều này vẫn chưa được xác định rõ ràng, vì vẫn còn vô số cách để mô hình hóa các hàm continuos, nhưng tập hợp có phần nhỏ hơn. Hồi quy sườn chỉ là một cách đơn giản để sắp xếp các hàm continuos có thể, kiểm tra chúng và dừng ở mức độ tự do cuối cùng. Giải thích là hình ảnh kích thước VC: trong quá trình hồi quy sườn, bạn kiểm tra xem mô hình af (x, p1, p2 ...) có mức độ tự do nhất định mô tả mức độ không chắc chắn vốn có trong dữ liệu. Trên thực tế, nó đo mức độ f (x, p1, p2 ... ) và P theo kinh nghiệm (p1, p2 ...) có thể xây dựng lại phân phối P (y | x) đầy đủ và không chỉ E (y | x). Bằng cách này, các mô hình có quá nhiều mức độ tự do (thường là quá mức) được cân nhắc, vì thông số nhiều hơn có nghĩa là sau một mức độ tự do nhất định sẽ cho tương quan lớn hơn giữa các tham số và do đó P (f (x, p1, p2) rộng hơn nhiều. ..)) phân phối. Một cách giải thích khác là hàm tổn thất ban đầu cũng là một giá trị đo và đánh giá trên một mẫu nhất định đi kèm với sự không chắc chắn, do đó, nhiệm vụ thực tế không phải là giảm thiểu hàm mất mát mà là tìm mức tối thiểu thấp hơn đáng kể so với một số khác (thực tế thay đổi từ một mức độ tự do sang một mức độ khác là một quyết định của Bayes, do đó, một thay đổi số lượng tham số chỉ khi chúng làm giảm đáng kể chức năng mất). Hồi quy sườn núi có thể được hiểu là gần đúng với hai hình ảnh này (kích thước CV, mất mát dự kiến). Trong một số trường hợp, bạn muốn sử dụng các mức độ tự do cao hơn, ví dụ như trong vật lý hạt bạn nghiên cứu sự va chạm hạt nơi bạn mong đợi số lượng hạt được sản xuất là phân phối Poisson, vì vậy bạn tái tạo lại hạt theo dõi từ trên ảnh (ví dụ như ảnh ) theo cách ưu tiên một số lượng nhất định các bản nhạc và loại bỏ các mô hình có số lần theo dõi số lượng hình ảnh nhỏ hơn hoặc cao hơn.
3. Trường hợp thứ ba cũng cố gắng triển khai thông tin trước đó vào phép đo, cụ thể là được biết từ các phép đo trước đó rằng chiều cao của học sinh có thể được mô hình hóa rất tốt bằng các phân phối Gaussian chứ không phải bởi Cauchy, chẳng hạn.

Vì vậy, trong ngắn hạn, câu trả lời là bạn có thể thu nhỏ độ không đảm bảo của phép đo nếu bạn biết những gì mong đợi và phân loại dữ liệu với một số dữ liệu trước đó (thông tin trước). Dữ liệu trước đó là những gì ràng buộc chức năng mô hình hóa của bạn mà bạn sử dụng để phù hợp với các phép đo. Trong các trường hợp đơn giản, bạn có thể viết mô hình của mình trong khung Bayes, nhưng đôi khi nó không thực tế, giống như tích hợp trên tất cả các hàm continuos có thể để tìm ra mô hình có giá trị Bayesian Maximal A Posterior.

Công cụ ước tính James Stein và hồi quy Ridge

Xem xét

$\mathbf y=\mathbf{X}\beta+\mathbf{\epsilon}$

$\mathbf{\epsilon}\sim N(0,\sigma^2I)$

Dung dịch vuông nhỏ nhất có dạng

$\hat \beta= \mathbf S^{-1}\mathbf{X}'\mathbf{y}$$\mathbf S= \mathbf X'\mathbf X$

$\hat \beta$$\beta$$\sigma^2 \mathbf S^{-1}$

$\hat \beta \sim N(\beta, \sigma^2\mathbf S^{-1})$$\hat \beta$

James Stein

$\mathbf S=\mathbf I$$\beta$

$\beta \sim N(0,a\mathbf I)$

$\frac{a}{a+\sigma^2}\hat \beta=(1-\frac{\sigma^2}{a+\sigma^2})\hat \beta$$\frac{1}{a+\sigma^2}$$\frac{p-2}{\|\hat \beta\|^2}$

$\hat \beta=(1-\frac{p-2}{\|\hat \beta\|^2})\hat \beta$

Hồi quy sườn

$\mathbf X$$\mathbf X$$\beta=(\beta_1,\beta_2,\ldots, \beta_p)$$S_{ii}=1$$i=1,2,\ldots,p$

$\beta$$\lambda\geq0$

$\hat \beta (\lambda) =(\mathbf S+\lambda I)^{-1}\mathbf X'\mathbf y=(\mathbf S +\lambda\mathbf I)^{-1}\mathbf S \hat \beta$$\hat \beta$

$\hat \beta (\lambda)$

$\hat \beta \sim N(\hat \beta, \sigma^2\mathbf S^{-1})$

$\beta\sim N(0,\frac{\sigma^2}{\lambda}\mathbf I)$

Sau đó, chúng tôi nhận được

$\text{E}\left(\beta|\hat \beta\right)=(\mathbf S +\lambda\mathbf I)^{-1}\mathbf S \hat \beta$

$\hat \beta (\lambda)$$\mathbf S=\mathbf I$$a=\frac{\sigma^2}{\lambda}$