Trực giác về ước lượng tham số trong các mô hình hỗn hợp (tham số phương sai so với chế độ có điều kiện)

Tôi đã đọc nhiều lần rằng các hiệu ứng ngẫu nhiên (BLUP / chế độ có điều kiện cho các đối tượng) không phải là tham số của mô hình hiệu ứng hỗn hợp tuyến tính mà thay vào đó có thể được lấy từ các tham số phương sai / hiệp phương sai ước tính. Ví dụ Reinhold Kliegl et al. (2011) tiểu bang:

Hiệu ứng ngẫu nhiên là độ lệch của chủ thể so với RT trung bình và độ lệch của chủ thể so với tham số hiệu ứng cố định. Chúng được giả định là độc lập và thường được phân phối với giá trị trung bình là 0. Điều quan trọng là phải nhận ra rằng các hiệu ứng ngẫu nhiên này không phải là tham số của LMM - chỉ có phương sai và hiệp phương sai của chúng là. [...] Các tham số LMM kết hợp với dữ liệu của các đối tượng có thể được sử dụng để tạo ra các dự đoán của bộ điều khiển (các chế độ có điều kiện) của các hiệu ứng ngẫu nhiên cho từng đối tượng.

Ai đó có thể đưa ra một lời giải thích trực quan làm thế nào các tham số phương sai (đồng) của các hiệu ứng ngẫu nhiên có thể được ước tính mà không thực sự sử dụng / ước tính các hiệu ứng ngẫu nhiên?

Hãy xem xét một đơn giản tuyến tính mô hình hỗn hợp, ví dụ như một mô hình đánh chặn ngẫu nhiên mà chúng tôi ước tính phụ thuộc của trên x trong các môn học khác nhau, và cho rằng từng đối tượng có chặn ngẫu nhiên riêng của họ: y = một + b x + c i + ε . Đây chặn c i được mô hình hóa như đến từ một phân phối Gaussian c i ~ N ( 0 , τ 2 ) và tiếng ồn ngẫu nhiên cũng là Gaussian ε ~ N ( 0 , σ $y$$x$

$$y = a + bx + c_i + \epsilon.$$ $c_i$ $$c_i\sim \mathcal N(0, \tau^2)$$ Trongcú pháp mô hình này sẽ được viết là. $$\epsilon \sim \mathcal N(0, \sigma^2).$$ lme4y ~ x + (1|subject)

Hướng dẫn viết lại phần trên như sau:

$$\begin{gather} y \mid c \sim \mathcal N(a + bx + c, \sigma^2) \\ c \sim \mathcal N(0, \tau^2) \end{gather}$$

Đây là một cách chính thức hơn để xác định cùng một mô hình xác suất. Từ công thức này, chúng ta có thể thấy trực tiếp rằng các hiệu ứng ngẫu nhiên không phải là "tham số": chúng là các biến ngẫu nhiên không quan sát được. Vậy làm thế nào chúng ta có thể ước tính các tham số phương sai mà không biết các giá trị của c ?$c_i$$c$

Lưu ý rằng phương trình đầu tiên ở trên mô tả phân phối có điều kiện của cho c . Nếu chúng ta biết sự phân bố của c và y | c , sau đó chúng ta có thể làm việc ra các điều kiện phân phối của y bằng cách tích hợp trên c . Bạn có thể biết nó là Luật tổng xác suất . Nếu cả hai phân phối là Gaussian, thì kết quả phân phối vô điều kiện cũng là Gaussian.$y$$c$$c$$y\mid c$$y$$c$

Trong trường hợp này sự phân bố không điều kiện đơn giản là , nhưng các quan sát của chúng tôi không phải là mẫu iid từ nó bởi vì có rất nhiều phép đo mỗi môn học. Để tiến hành, chúng ta cần xem xét phân phối của toàn bộ $\mathcal N(a + bx, \sigma^2+\tau^2)$$n$ chiều vector của tất cả các quan sát: y ~ N ( một + b x , Σ ) nơi Σ = σ 2 Tôi n + τ 2 $\mathbf y$

$$\mathbf y \sim \mathcal N(a+b\mathbf x, \boldsymbol\Sigma)$$ là ma trận khối chéo gồm σ 2 và τ 2 . Bạn yêu cầu trực giác nên tôi muốn tránh toán. Điểm quan trọng là phương trình này không có c nữa! Đâylà những gì người ta thực sự phù hợp với dữ liệu được quan sát và đó là lý do tại sao người ta nói rằng c i không phải là tham số của mô hình.$\boldsymbol\Sigma=\sigma^2 \mathbf I_n + \tau^2 \mathbf I_N \otimes \mathbf 1_M$$\sigma^2$$\tau^2$$c$$c_i$

Khi các tham số , b , τ 2 và σ 2 phù hợp, người ta có thể tìm ra phân phối có điều kiện của c i cho mỗi i . Những gì bạn thấy trong đầu ra mô hình hỗn hợp là các chế độ của các phân phối này, còn gọi là các chế độ có điều kiện.$a$$b$$\tau^2$$\sigma^2$$c_i$$i$

Bạn có thể dễ dàng ước tính các tham số phương sai và hiệp phương sai mà không cần dựa vào các hiệu ứng ngẫu nhiên bằng cách sử dụng các hiệu ứng cố định (xem ở đây để thảo luận về hiệu ứng cố định so với hiệu ứng ngẫu nhiên; lưu ý rằng thực tế là có các định nghĩa khác nhau về các thuật ngữ này).

Hiệu ứng cố định có thể dễ dàng bắt nguồn bằng cách thêm biến chỉ báo (nhị phân) cho từng nhóm (hoặc từng khoảng thời gian hoặc bất cứ điều gì bạn nghĩ để sử dụng làm hiệu ứng ngẫu nhiên; điều này tương đương với biến đổi bên trong). Điều này cho phép bạn dễ dàng ước tính các hiệu ứng cố định (có thể được xem như một tham số).

Giả định hiệu ứng cố định không yêu cầu bạn đưa ra giả định về phân phối hiệu ứng cố định, bạn có thể dễ dàng ước tính phương sai của hiệu ứng cố định (mặc dù điều này cực kỳ nhiễu nếu số lượng quan sát trong mỗi nhóm nhỏ; sự thiên vị cho chi phí của phương sai lớn hơn nhiều so với các hiệu ứng ngẫu nhiên vì bạn mất một bậc tự do cho mỗi nhóm thông qua việc thêm các biến chỉ báo này). Bạn cũng có thể ước tính hiệp phương sai giữa các nhóm hiệu ứng cố định khác nhau hoặc giữa các hiệu ứng cố định và các hiệp phương sai khác. Chúng tôi đã thực hiện điều đó, ví dụ như trong một bài báo có tên là Cân bằng cạnh tranh và Kết hợp hợp nhất ở Bundesliga của Đức để ước tính liệu các cầu thủ bóng đá tốt hơn có ngày càng chơi cho các đội tốt hơn hay không.

Hiệu ứng ngẫu nhiên cần một giả định trước về hiệp phương sai. Trong các mô hình hiệu ứng ngẫu nhiên cổ điển, bạn cho rằng các hiệu ứng ngẫu nhiên giống như một lỗi và chúng độc lập với các hiệp phương sai khác (do đó bạn có thể bỏ qua chúng và sử dụng OLS và vẫn nhận được các ước tính không hiệu quả cho tham số khác nếu các giả định của mô hình hiệu ứng ngẫu nhiên giữ đúng).

Hơn nữa thông tin kỹ thuật có sẵn ở đây . Andrew Gelman cũng có nhiều công việc trực quan hơn về điều này trong cuốn sách hay Phân tích dữ liệu của mình bằng mô hình hồi quy và mô hình đa cấp / phân cấp