Tại sao khó kết hợp sự không chắc chắn trong các hiệu ứng ngẫu nhiên khi đưa ra dự đoán từ các mô hình hỗn hợp?

Có một số chủ đề trên R-sig-ME về việc đạt được khoảng tin cậy cho các dự đoán sử dụng lme4và nlmetrong R. Ví dụ ở đây và ở đây trong năm 2010, bao gồm một số bình luận của Dougals Bates, một trong những tác giả của cả hai gói. Tôi ngần ngại trích dẫn nguyên văn của anh ấy, vì sợ chúng bị đưa ra khỏi bối cảnh, nhưng dù sao, một bình luận anh ấy đưa ra là

"Bạn đang kết hợp các tham số và các biến ngẫu nhiên trong các dự đoán của mình và tôi không chắc ý nghĩa của việc đánh giá tính biến đổi của các dự đoán đó là gì. Một người Bayes có thể hiểu được ý nghĩa của nó nhưng tôi không thể hiểu được. " https://stat.ethz.ch/pipermail/r-sig-mixed-models/2010q1/003447.html

Tôi biết rằng gói glmmian Bayes MCMCglmmcó thể tạo ra các khoảng tin cậy cho các dự đoán.

Gần đây, phiên bản phát triển của lme4github đã được đưa ra một predictphương thức, nhưng nó đi kèm với nhận xét sau:

"@note Không có tùy chọn để tính toán các lỗi dự đoán tiêu chuẩn vì khó xác định phương pháp hiệu quả kết hợp tính không chắc chắn trong các tham số phương sai; chúng tôi khuyên dùng \ code {\ link {bootMer}} cho tác vụ này." https://github.com/lme4/lme4/blob/master/R/predict.R

Vì vậy, tại sao khó kết hợp sự không chắc chắn trong các hiệu ứng ngẫu nhiên khi đưa ra dự đoán từ các mô hình hỗn hợp trong một thiết lập thường xuyên?

mixed-model

— P Sellaz
nguồn

Câu trả lời:

Tôi không chắc chắn về nhận xét phương pháp dự đoán nhưng một vấn đề chính liên quan đến việc tạo ra các biện pháp phương sai dễ hiểu, không phải là các biện pháp phương sai mỗi se. Bates không bình luận trong trích dẫn đầu tiên về việc bạn có làm được hay không, ý nghĩa của nó là gì.

Lấy một mô hình đa cấp đơn giản của thiết kế các biện pháp lặp lại hai cấp. Giả sử bạn có dữ liệu sau trong đó mỗi dòng là một chủ đề:

nhập mô tả hình ảnh ở đây

Trong lmermô hình có thể được thể hiện như sau:

y ~ x + (1|subject)

Bạn đang dự đoán giá trị y từ x là hiệu ứng cố định (chênh lệch giữa A và B); và đánh chặn một hiệu ứng ngẫu nhiên **. Nhìn kỹ vào biểu đồ và lưu ý rằng mặc dù có sự thay đổi về hiệu ứng x cho từng đối tượng (độ dốc của mỗi dòng), nó tương đối nhỏ so với độ biến thiên giữa các đối tượng (chiều cao của mỗi dòng).

Mô hình phân tích hai bộ biến thiên này và mỗi bộ có ý nghĩa. Bạn có thể sử dụng các hiệu ứng ngẫu nhiên để dự đoán độ cao của các đường và bạn có thể sử dụng các hiệu ứng cố định của x để dự đoán độ dốc. Bạn thậm chí có thể sử dụng cả hai kết hợp để làm việc các giá trị y riêng lẻ của chúng tôi. Nhưng những gì bạn không thể làm là thực sự nói bất cứ điều gì có ý nghĩa đối với mô hình của bạn khi bạn kết hợp độ biến thiên của độ dốc và độ cao của các đường với nhau. Bạn cần nói về sự thay đổi của độ dốc và độ cao của các đường riêng biệt. Đó là một tính năng của mô hình, không phải là một trách nhiệm pháp lý.

Bạn sẽ có một sự thay đổi về hiệu ứng của x đó là ước tính tương đối dễ dàng. Bạn có thể nói điều gì đó về khoảng tin cậy xung quanh đó. Nhưng lưu ý rằng, khoảng tin cậy này sẽ có mối quan hệ nhỏ với dự đoán của bất kỳ giá trị y cụ thể nào vì giá trị y bị ảnh hưởng bởi sự kết hợp giữa hiệu ứng và phương sai chủ thể khác với sự thay đổi của hiệu ứng.

Khi Bates viết những điều như bạn đã trích dẫn, tôi tưởng tượng rằng anh ấy thường nghĩ về các thiết kế đa cấp phức tạp hơn nhiều mà điều này thậm chí không tiếp cận. Nhưng ngay cả khi bạn chỉ xem xét ví dụ đơn giản này, bạn sẽ tự hỏi loại ý nghĩa thực sự nào có thể được rút ra từ việc kết hợp tất cả các biện pháp phương sai lại với nhau.

** Tôi bỏ qua hiệu ứng cố định của đánh chặn vì đơn giản và chỉ coi đó là hiệu ứng ngẫu nhiên. Bạn có thể rút ra kết luận tương tự từ một mô hình thậm chí đơn giản hơn chỉ với một lần đánh chặn ngẫu nhiên và cố định nhưng tôi nghĩ rằng nó sẽ khó truyền đạt hơn. Trong trường hợp đó, một lần nữa, hiệu ứng cố định và hiệu ứng ngẫu nhiên được phân tích cú pháp vì một lý do và có nghĩa là những thứ khác nhau và đặt sự biến đổi của chúng lại với nhau cho các giá trị dự đoán khiến cho sự biến đổi đó không có ý nghĩa gì đối với mô hình.

— John
nguồn

Vì vậy, những gì tôi nghe bạn nói là điều này xảy ra với cùng một cái cưa cũ về việc không chắc chắn liệu chúng ta có muốn coi phương sai chủ đề là lỗi hay phân vùng nó một cách riêng biệt và giả vờ nó không tồn tại? Có đúng không?

— russellpierce

Tôi chưa bao giờ nghe thấy cái cưa cũ. Tôi chưa bao giờ nghe nói rằng bạn nên giả vờ phương sai chủ đề không tồn tại. Nhưng tôi cho rằng nó liên quan đến ví dụ cụ thể này. Các mô hình phân tích phương sai. Tính năng này của quá trình mô hình hóa là cách bạn có thể hiểu mô hình. Nếu bạn kết hợp lại phương sai một lần nữa, bạn sẽ đánh bại mục đích của mô hình ngay từ đầu. Tôi không nói bỏ qua phương sai chủ đề, chỉ là hiệu ứng ngẫu nhiên của chủ đề là riêng biệt. Bạn có thể muốn đọc Blouin & Riopelle (2005) và xem ý nghĩa của SE thay đổi như thế nào khi bạn kết hợp phương sai.

— Giăng

Có thể tôi đang thiếu một cái gì đó, nhưng điều này có vẻ rất giống với những người qua lại về kích thước hiệu ứng nào là tốt nhất để sử dụng cho Đối tượng / Các biện pháp lặp đi lặp lại ANOVA và cách các khoảng tin cậy đó được vẽ tốt nhất ... nhưng tôi cho rằng sau khi tôi đọc điều bạn đã chỉ cho tôi tôi sẽ không bỏ lỡ bất cứ điều gì mà tôi đang thiếu nữa. :) Cảm ơn.

— russellpierce

Như tôi đã nói, chúng có liên quan. Tôi không biết có một sự trở lại, rất thích xem một tài liệu tham khảo. Thực tế là, hai CI và hiệu ứng bạn đang nói về những điều khác nhau có nghĩa. Vì vậy, bạn sử dụng một trong đó truyền đạt những gì bạn muốn có nghĩa. Và bạn phải làm cho chúng có vẻ hợp lý. [Thật khó để tranh luận (mặc dù một số người có) rằng việc đặt CI kết hợp phương sai đối tượng xung quanh một giá trị trung bình trong thiết kế các biện pháp lặp đi lặp lại và sử dụng nó để nói điều gì đó về hiệu ứng các biện pháp lặp đi lặp lại là hợp lý.]

— John

Tôi chưa thấy bất cứ điều gì trong tài liệu, chỉ là rất nhiều sự vặn vẹo không chính thức và cố gắng đoán xem nhà phê bình du jour sẽ nghĩ gì.

— russellpierce

Trong một thời gian dài, tôi đã tự hỏi về niềm tin dường như phổ biến rằng có một số khác biệt cơ bản trong các hiệu ứng cố định và ngẫu nhiên cho các mô hình hiệu ứng hỗn hợp (nói chung là phi tuyến). Niềm tin này là ví dụ được Bates nêu trong phản hồi sau đây

https://stat.ethz.ch/pipermail/r-sig-mixed-models/2010q1/003447.html

Bates nói rõ rằng ông tin rằng có một sự khác biệt cơ bản giữa các hiệu ứng cố định và ngẫu nhiên để chúng không thể kết hợp với nhau. Tôi nghĩ anh ấy đã sai và tôi hy vọng sẽ thuyết phục được một vài độc giả về quan điểm thay thế. Tôi có một cách tiếp cận thường xuyên vì vậy những gì tôi muốn làm là xác định một khái niệm về khả năng hồ sơ cho một chức năng của cả hai hiệu ứng cố định và ngẫu nhiên. Để thúc đẩy cuộc thảo luận giả sử chúng ta có một mô hình hai tham số với các tham số x và u (không có gì về hiệu ứng ngẫu nhiên cho đến nay). Đặt là hàm khả năng trong đó chúng ta thay thế bất kỳ tham chiếu nào đến dữ liệu. Đặt là bất kỳ hàm (đẹp) nào của x và u. Khả năng hồ sơ cho hàm được đưa ra bởi $L(x,u)$ $g(x,u)$ $P_g(t)$ $g$

P_{g} (t) = max_{x, u} {L (x, u) | g (x, u) = t} \eqno (1)

$P_g(t)=\max_{x,u} \{L(x,u)\ |\ g(x,u)=t \} \eqno(1)$

Tôi tin rằng không ai sẽ tranh luận với điều này. Bây giờ giả sử chúng ta có phân phối xác suất trước cho u. Sau đó, tôi sẽ tuyên bố rằng khả năng hồ sơ cho vẫn có ý nghĩa, nhưng chúng ta nên sửa đổi (1) bằng cách bao gồm trước. $p(u)$ $g$

P_{g} (t) = max_{x, u} {L (x, u) p (u) | g (x, u) = t} \eqno (2)

$P_g(t)=\max_{x,u} \{L(x,u)p(u)\ |\ g(x,u)=t \} \eqno(2)$ Lưu ý rằng là một tham số với một ưu tiên chính xác giống như những gì được gọi là hiệu ứng ngẫu nhiên. Vậy tại sao nhiều người nghĩ rằng các tham số hiệu ứng ngẫu nhiên bằng cách nào đó khác nhau. Sự khác biệt tôi nghĩ xuất phát từ thực tiễn thông thường về ước lượng tham số cho chúng. Điều làm cho các hiệu ứng ngẫu nhiên `` khác nhau '' là có rất nhiều trong số chúng trong nhiều mô hình. Do đó, để có được ước tính hữu ích cho các hiệu ứng cố định (hoặc các tham số khác), cần phải xử lý các hiệu ứng ngẫu nhiên theo một cách khác. Những gì chúng tôi làm là tích hợp chúng ra khỏi mô hình. Trong mô hình trên, chúng ta sẽ hình thành khả năng trong đó Bây giờ là

u

$u$

F (x)

$F(x)$

F (x) = \int L (x, u) p (u) d u

$F(x) = \int L(x,u)p(u)du$

u

$u$ đã biến mất. Vì vậy, nếu tất cả những gì chúng ta có là dường như không có ý nghĩa gì khi nói về khả năng hồ sơ cho một số chức năng .

F (x)

$F(x)$

g (x, u)

$g(x,u)$

Vì vậy, để có được thông tin về hàm chúng ta không nên tích hợp qua tham số . Nhưng những gì xảy ra trong trường hợp có nhiều tham số hiệu ứng ngẫu nhiên. Sau đó, tôi tuyên bố rằng chúng ta nên tích hợp trên `` most '' nhưng không phải tất cả trong số chúng theo nghĩa tôi sẽ làm cho chính xác. Để thúc đẩy việc xây dựng, hãy để có hiệu ứng ngẫu nhiên . Hãy xem xét trường hợp đặc biệt trong đó hàm chỉ phụ thuộc vào và trên thực tế là hàm đơn giản nhất có thể tưởng tượng được, . Tích hợp các hiệu ứng ngẫu nhiên để có được $g(x,u)$ $u$ $n$ $u=(u_1,u_2,...,u_{n-1},u_n)$ $g(x,u)$ $u_n$ $g(x,u)=u_n$ $u_1,u_2,...,u_{n-1}$

F (x, u_{n}) = \int L (x, u_{1}, . . ., u_{n}) p (u_{1}, . . ., u_{n})) d u_{1} d u_{2} . . . d u_{n - 1} \eqno (4)

$F(x,u_n) = \int L(x,u_1,...,u_n)p(u_1,...,u_n))du_1du_2...du_{n-1}\eqno(4)$ như trước chúng ta có thể hình thành khả năng hồ sơ Cách khái quát hóa sao cho hợp lý cho một hàm tùy ý . Cũng lưu ý rằng định nghĩa của trong giống với Để xem ghi chú này, đối với trường hợp đơn giản , giống như

P_{g} (t) = max_{x, u_{n}} {F (x, u_{n}) | u_{n} = t} \eqno (3)

$P_g(t)=\max_{x,u_n} \{F(x,u_n) | u_n=t \} \eqno(3)$

(3)

$(3)$

g (x, u)

$g(x,u)$

F (x, u_{n})

$F(x,u_n)$

(4)

$(4)$

F (x, s) = lim_{ϵ \to 0} \frac{1}{ϵ} \int_{{(x, u_{n}) | s - ϵ / 2 < g (x, u_{n}) < s + ϵ / 2}} L (x, u_{1}, . . ., u_{n}) p (u_{1}, . . ., u_{n})) d u_{1} d u_{2} . . . d u_{n} \eqno (5)

$F(x,s) = \lim_{\epsilon\rightarrow 0}{1\over\epsilon} \int_{\{(x,u_n) | s-\epsilon/2<g(x,u_n)<s+\epsilon/2\}} L(x,u_1,...,u_n)p(u_1,...,u_n))du_1du_2...du_n\eqno(5)$

g (x, u) = u_{n}

$g(x,u)=u_n$

(5)

$(5)$

F (x, s) = lim_{ϵ \to 0} \frac{1}{ϵ} \int_{{(x, u_{n}) | s - ϵ / 2 < u_{n} < s + ϵ / 2}} F (x, u_{n}) d u_{n} \eqno (6)

$F(x,s)=\lim_{\epsilon\rightarrow 0}{1\over\epsilon} \int_{\{(x,u_n) | s-\epsilon/2<u_n<s+\epsilon/2\}} F(x,u_n)du_n\eqno(6)$

Đối với hàm tổng quát chúng ta tạo hàm được xác định bởi và tính toán khả năng hồ sơ $g(x,u)$ $F(x,s)$ $(5)$

P_{g} (s) = max_{x, u} {F (x, s) | g (x, u) = s} \eqno (3)

$P_g(s)=\max_{x,u} \{F(x,s) | g(x,u)=s \} \eqno(3)$

Khả năng hồ sơ này là một khái niệm được xác định rõ và đứng trên chính nó. Tuy nhiên, để có ích trong thực tế, người ta cần có thể tính toán giá trị của nó, ít nhất là xấp xỉ. Tôi tin rằng đối với nhiều mô hình, hàm có thể được xấp xỉ đủ tốt bằng cách sử dụng một biến thể của xấp xỉ Laplace. Xác định bởi Gọi H là hessian của nhật ký của hàm đối với các tham số và . $F(x,s)$ $\hat x(s),\hat u(s)$

\hat{x} (s), \hat{u} (s) = max_{x, u} {L (x, u) p (u) | g (x, u) = s}

$\hat x(s),\hat u(s)= \max_{x,u} \{L(x,u)p(u)\ |\ g(x,u)=s\}$

- L (x, u) p (u)

$-L(x,u)p(u)$

x

$x$

u

$u$

Các tập cấp của là các chuỗi con chiều của không gian trong đó có hiệu ứng cố định và hiệu ứng ngẫu nhiên. Chúng ta cần tích hợp một dạng trên đa tạp này trong đó tất cả được tuyến tính hóa tại Điều này liên quan đến một chút hình học vi phân cơ bản. Giả sử rằng Bằng cách xác định lại chúng ta có thể giả sử rằng và . Sau đó xem xét bản đồ $g$ $m+n-1$ $n+m$ $m$ $n$ $n$ $du_1\wedge du_2\wedge\ldots\wedge du_n$ $\hat x(s),\hat u(s)$ $g_{x_n}(\hat x(s),\hat u(s))\ne 0$ $\hat x(s)=0$ $\hat u(s)=0$

(x_{1}, x_{2}, \dots, x_{m - 1}, u_{1}, u_{2}, \dots, u_{n}) \to (x_{1}, x_{2}, \dots, x_{m - 1}, \frac{- \sum_{i = 1}^{m - 1} g_{x_{i}} x_{i} - \sum_{i = 1}^{n} g_{u_{i}} u_{i}}{g_{x_{m}}}, u_{1}, u_{2}, \dots, u_{n})

$(x_1,x_2,\ldots,x_{m-1},u_1,u_2,\ldots,u_n) \rightarrow (x_1,x_2,\ldots,x_{m-1}, {-\sum_{i=1}^{m-1}g_{x_i}x_i-\sum_{i=1}^ng_{u_i}u_i\over g_{x_m}}, u_1,u_2,\ldots,u_n)$ trong đó được sử dụng để biểu thị derivatvie một phần của đối với đánh giá ở điểm tối đa. Đây là bản đồ tuyến tính của không gian vào không gian tiếp tuyến của tập cấp . Chúng ta có thể sử dụng nó để tính tích phân mong muốn. Đầu tiên, pullback của 1 form chỉ đơn giản là chính họ.

g_{x_{i}}

$g_{x_i}$

g

$g$

x_{i}

$x_i$

m + n - 1

$m+n-1$

g

$g$

d u_{i}

$du_i$

Pullback của Hessian là dạng bậc hai

T_{i, j} = H_{i + m, j + m} + \frac{g_{u_{i}} g_{u_{j}}}{{g_{x_{m}}}^{2}} H_{m, m} \rm for 1 <= i, j <= n

$T_{i,j} =H_{i+m,j+m}+{g_{u_i}g_{u_j}\over {g_{x_m}}^2}H_{m,m}\quad \hbox{\rm for} \ 1<=i,j<=n$

Vì vậy, tích phân có thể được tính (hoặc xấp xỉ) thông qua phép tính gần đúng Laplace, là công thức thông thường liên quan đến logarit của định thức , được tính thông qua phân tách Cholesky. Giá trị của xấp xỉ Laplace của tích phân là trong đólà yếu tố quyết định. chúng ta vẫn cần xử lý độ rộng của tập cấp là Để đặt hàng đầu tiên, giá trị này là trong đó là vectơ của đạo hàm riêng của $T$

L (\hat{x} (s), \hat{u} (s)) | - T |^{\frac{1}{2}}

$L(\hat x(s),\hat u(s))|-T|^{1\over2}$

| \cdot |

$|\cdot|$

g

$g$

ϵ \to 0

$\epsilon\rightarrow 0$

ϵ / ‖ \nabla g (\hat{x} (s), \hat{u} (s)) ‖

$\epsilon/\|\nabla g(\hat x(s),\hat u(s))\|$

\nabla g (\hat{x} (s), \hat{u} (s)))

$\nabla g(\hat x(s),\hat u(s)))$

g

$g$

(g_{x_{1}}, g_{x_{2}}, \dots, g_{x_{m}}, g_{u_{1}}, g_{u_{2}}, \dots, g_{u_{n}})

$( g_{x_1}, g_{x_2}, \ldots, g_{x_m}, g_{u_1}, g_{u_2}, \ldots, g_{u_n})$ để giá trị khả năng trên cấp độ được đưa ra bởi Đây là xấp xỉ chính xác để sử dụng để tính toán khả năng hồ sơ.

g

$g$

\frac{L (\hat{x} (s), \hat{u} (s)) | - T |^{\frac{1}{2}}}{‖ \nabla g (\hat{x} (s), \hat{u} (s)) ‖}

${L(\hat x(s),\hat u(s))|-T|^{1\over2}\over \|\nabla g(\hat x(s),\hat u(s))\|}$

— dave Fournier
nguồn