Có một giải thích Bayes tồn tại cho REML?

Là một cách giải thích Bayes của REML có sẵn? Theo trực giác của tôi, REML mang một sự tương đồng mạnh mẽ với cái gọi là thủ tục ước lượng Bayes theo kinh nghiệm , và tôi tự hỏi liệu một loại tương đương tiệm cận nào đó (theo một số loại linh mục phù hợp, đã nói) đã được chứng minh. Cả Bayes và REML theo kinh nghiệm dường như là các phương pháp ước tính 'thỏa hiệp' được thực hiện khi đối mặt với các tham số phiền toái , chẳng hạn.

Chủ yếu, những gì tôi tìm kiếm bởi câu hỏi này là cái nhìn sâu sắc cấp cao mà các loại lập luận này có xu hướng mang lại. Tất nhiên, nếu một cuộc tranh cãi của thiên nhiên này vì một lý do không thể hữu ích được theo đuổi cho REML, một lời giải thích cho lý do tại sao điều này được như vậy cũng sẽ cung cấp cái nhìn sâu sắc chào đón!

bayesian asymptotics reml

— David C. Norris
nguồn

Bài viết này dường như có liên quan: hôi thối J. (1993). Một đối số đơn giản chỉ ra làm thế nào để rút ra khả năng tối đa bị hạn chế. J. Bò sữa. 76, 2320 Cổng 2324. 10.3168 / jds.S0022-0302 (93) 77569-4 scazedirect.com/science/article/pii/ mẹo

— djw

Giải thích Bayes chỉ tồn tại trong khuôn khổ phân tích Bayes, cho các công cụ ước tính liên quan đến phân phối sau. Do đó, cách duy nhất mà công cụ ước tính REML có thể được đưa ra một cách giải thích Bayes (nghĩa là một cách giải thích như một công cụ ước tính được lấy từ phía sau) là nếu chúng ta lấy khả năng ghi nhật ký bị hạn chế trong phân tích REML để trở thành log-postior tương ứng Phân tích Bayes; trong trường hợp này, công cụ ước tính REML sẽ là công cụ ước tính MAP từ lý thuyết Bayes, với cách giải thích Bayes tương ứng.

Đặt công cụ ước tính REML thành công cụ ước tính MAP: Tương đối đơn giản để xem cách đặt khả năng ghi nhật ký bị hạn chế trong phân tích REML thành log-postior trong phân tích Bayes. Để làm điều này, chúng tôi yêu cầu nhật ký trước phải là phần âm của phần khả năng đăng nhập bị loại bỏ bởi quy trình REML. Giả sử chúng ta có loga nơi là dư loga và $\ell_\mathbf{x}(\theta, \nu) = \ell_*(\theta, \nu) + \ell_{\text{RE}}(\theta)$ $\ell_{\text{RE}}(\theta)$ $\theta$ là tham số quan tâm (với là tham số phiền toái của chúng tôi). Đặt giá trị trước cho sẽ cho hậu thế tương ứng: $\nu$ $\pi(\theta, \nu) \propto \exp(-\ell_*(\theta, \nu))$

\begin{aligned} π (θ | x) & \propto \int L_{x} (θ, ν) π (θ, ν) d ν \\ \propto \int \exp (ℓ_{x} (θ, ν)) \exp (- ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{x} (θ, ν) - ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{*} (θ, ν) + ℓ_{RE} (θ) - ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{RE} (θ)) d ν \\ = \int L_{RE} (θ) d ν \\ \propto L_{RE} (θ) . \end{aligned}

$\begin{equation} \begin{aligned} \pi(\theta|\mathbf{x}) &\propto \int L_\mathbf{x}(\theta, \nu) \pi(\theta, \nu) d\nu \\[6pt] &\propto \int \exp(\ell_\mathbf{x}(\theta, \nu)) \exp(-\ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_\mathbf{x}(\theta, \nu) - \ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_*(\theta, \nu) + \ell_{\text{RE}}(\theta) - \ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_{\text{RE}}(\theta)) d\nu \\[6pt] &= \int L_{\text{RE}}(\theta) d\nu \\[6pt] &\propto L_{\text{RE}}(\theta). \\[6pt] \end{aligned} \end{equation}$

Điều này cho chúng ta:

{\hat{θ}}_{MAP} = \arg max_{θ} π (θ | x) = \arg max_{θ} L_{RE} (θ) = {\hat{θ}}_{REML} .

$\hat{\theta}_\text{MAP} = \arg \max_\theta \pi(\theta|\mathbf{x}) = \arg \max_\theta L_{\text{RE}}(\theta) = \hat{\theta}_\text{REML}.$

Kết quả này cho phép chúng tôi giải thích công cụ ước tính REML như một công cụ ước tính MAP, do đó, cách giải thích Bayes thích hợp của công cụ ước tính REML là công cụ ước tính tối đa hóa mật độ sau theo trước .

$\ell_*(\theta, \nu)$

Dựa trên những vấn đề này, người ta có thể lập luận rằng không có cách giải thích Bayes hợp lý cho công cụ ước tính REML. Ngoài ra, người ta có thể lập luận rằng việc ước lượng REML vẫn duy trì trên Bayesian giải thích, là một tối đa một hậu ước lượng dưới một "trước khi" đó tình cờ phải phù hợp với các dữ liệu quan sát theo hình thức chỉ định, và có thể rất không đúng.

$x_1,...,x_n \sim \text{N}(\nu, 1/\theta)$ $\theta$ $\nu$

ℓ_{x} (ν, θ) = - \frac{n}{2} \ln θ - \frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - ν)^{2} .

$\ell_\mathbf{x}(\nu,\theta) = - \frac{n}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2.$

Trong REML, chúng tôi chia khả năng đăng nhập này thành hai thành phần:

\begin{aligned} ℓ_{*} (ν, θ) & = - \frac{n}{2} \ln θ - \frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - ν)^{2} \\ ℓ_{RE} (θ) & = - \frac{n - 1}{2} \ln θ - \frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2} . \end{aligned}

$\begin{equation} \begin{aligned} \ell_*(\nu,\theta) &= - \frac{n}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2 \\[10pt] \ell_\text{RE}(\theta) &= - \frac{n-1}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\bar{x})^2. \end{aligned} \end{equation}$

Chúng tôi có được công cụ ước tính REML cho tham số chính xác bằng cách tối đa hóa khả năng còn lại, điều này mang lại một công cụ ước tính không thiên vị cho phương sai:

\frac{1}{{\hat{θ}}_{REML}} = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2} .

$\frac{1}{\hat{\theta}_\text{REML}} = \frac{1}{n-1} \sum_{i=1}^n (x_i-\bar{x})^2.$

Trong trường hợp này, công cụ ước tính REML sẽ tương ứng với công cụ ước tính MAP cho mật độ "trước":

π (θ) \propto θ^{n / 2} \exp (\frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - ν)^{2}) .

$\pi(\theta) \propto \theta^{n/2} \exp \Bigg( \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2 \Bigg).$

$\theta$ $\nu$

— Phục hồi Monica
nguồn

Thật là một câu trả lời vô cùng rõ ràng! Tôi cảm thấy tôi hiểu REML tốt hơn nhiều, kết quả là mục tiêu chính của tôi. Cách tiếp cận của bạn trong việc mở lập luận của bạn dường như về cơ bản là để xác định, sau đó 'giải quyết' trước. Sau đó, bạn tiến hành phá hủy điều đó trước đó, có vẻ như tôi chỉ trích (theo quan điểm của Bayes) nhằm chống lại REML. Làm đẹp!

— David C. Norris

Vâng, đó là phương pháp tôi đã sử dụng. Bằng cách tương tự, chúng tôi thường cung cấp cho MLE một cách giải thích Bayes theo cùng một phương pháp --- tức là, bằng cách tìm ra rằng MLE là MAP theo một bộ đồng phục trước đó. Vì vậy, nói chung, khi chúng ta muốn tìm sự tương tự Bayes với một công cụ ước tính cổ điển được hình thành bằng cách tối đa hóa một số chức năng, chúng ta chỉ cần đặt chức năng đó về phía sau và sau đó giải quyết trước. Nếu điều này đưa ra một lý do hợp lý trước thì chúng ta có một cách giải thích Bayes tốt; nếu trước đó là điên rồ (như với REML) thì chúng ta có một lập luận tốt rằng không có cách giải thích Bayes tốt.

— Phục hồi Monica