Đúc một mô hình tuyến tính đa biến như một hồi quy bội

Là việc mô tả lại một mô hình hồi quy tuyến tính đa biến như một hồi quy tuyến tính đa biến hoàn toàn tương đương? Tôi không đề cập đến chỉ đơn giản là chạy hồi quy riêng biệt.$t$

Tôi đã đọc điều này ở một vài nơi (Phân tích dữ liệu Bayes - Gelman và cộng sự, và Trường học cũ đa biến - Marden) rằng một mô hình tuyến tính đa biến có thể dễ dàng được xác định lại dưới dạng hồi quy bội. Tuy nhiên, không có nguồn nào chi tiết về điều này cả. Về cơ bản họ chỉ đề cập đến nó, sau đó tiếp tục sử dụng mô hình đa biến. Về mặt toán học, tôi sẽ viết phiên bản đa biến trước tiên,

$$\underset{n \times t}{\mathbf{Y}} = \underset{n \times k}{\mathbf{X}} \hspace{2mm}\underset{k \times t}{\mathbf{B}} + \underset{n \times t}{\mathbf{R}},$$ trong đó các biến in đậm là ma trận với kích thước của chúng bên dưới chúng. Như thường lệ, là dữ liệu, là ma trận thiết kế, là phần dư được phân phối bình thường và là những gì chúng ta quan tâm khi đưa ra suy luận.X R $\mathbf{Y}$$\mathbf{X}$$\mathbf{R}$$\mathbf{B}$

Để xác định lại tham số này là hồi quy tuyến tính đa biến quen thuộc, người ta chỉ cần viết lại các biến là:

$$\underset{nt \times 1}{\mathbf{y}} = \underset{nt \times nk}{\mathbf{D}} \hspace{2mm} \underset{nk \times 1}{\boldsymbol{\beta}} + \underset{nt \times 1}{\mathbf{r}},$$

trong đó các tham số lại được sử dụng là $\mathbf{y} = row(\mathbf{Y})$ , $\boldsymbol\beta = row(\mathbf{B})$ và $\mathbf{D} = \mathbf{X} \otimes \mathbf{I}_{n}$ . $row()$ có nghĩa là các hàng của ma trận được sắp xếp từ đầu đến cuối thành một vectơ dài và $\otimes$ là kronecker, hoặc bên ngoài, sản phẩm.

Vì vậy, nếu điều này là dễ dàng, tại sao phải viết sách về các mô hình đa biến, kiểm tra số liệu thống kê cho họ, vv? Hiệu quả nhất là chỉ cần biến đổi các biến đầu tiên và sử dụng các kỹ thuật đơn biến phổ biến. Tôi chắc chắn có một lý do chính đáng, tôi chỉ gặp khó khăn khi nghĩ về một, ít nhất là trong trường hợp của một mô hình tuyến tính. Có các tình huống với mô hình tuyến tính đa biến và các lỗi ngẫu nhiên phân phối thông thường trong đó việc áp dụng lại thông số này không áp dụng hoặc giới hạn các khả năng phân tích mà bạn có thể thực hiện không?

Các nguồn tôi đã thấy điều này: Marden - Thống kê đa biến: Trường học cũ. Xem phần 5.3 - 5.5. Cuốn sách có sẵn miễn phí từ: http://istic.net/stat/

Gelman và cộng sự. - Phân tích dữ liệu Bayes. Tôi có phiên bản thứ hai, và trong phiên bản này có một đoạn nhỏ trong Ch. 19 'Mô hình hồi quy đa biến' có tiêu đề: "Mô hình hồi quy đơn biến tương đương"

Về cơ bản, bạn có thể làm mọi thứ với mô hình hồi quy đơn biến tuyến tính tương đương mà bạn có thể làm với mô hình đa biến không? Nếu vậy, tại sao lại phát triển các phương thức cho các mô hình tuyến tính đa biến?

Còn với phương pháp Bayes thì sao?

Về cơ bản, bạn có thể làm mọi thứ với mô hình hồi quy đơn biến tuyến tính tương đương mà bạn có thể làm với mô hình đa biến không?

Tôi tin câu trả lời là không.

Nếu mục tiêu của bạn chỉ đơn giản là ước tính các hiệu ứng (tham số trong ) hoặc tiếp tục đưa ra dự đoán dựa trên mô hình, thì có, việc áp dụng công thức mô hình nào giữa hai mô hình đó không thành vấn đề.$\mathbf{B}$

Tuy nhiên, để thực hiện các suy luận thống kê đặc biệt là để thực hiện kiểm tra ý nghĩa cổ điển, công thức đa biến dường như thực tế không thể thay thế. Cụ thể hơn, hãy để tôi sử dụng phân tích dữ liệu điển hình trong tâm lý học làm ví dụ. Dữ liệu từ đối tượng được thể hiện là$n$

$$\underset{n \times t}{\mathbf{Y}} = \underset{n \times k}{\mathbf{X}} \hspace{2mm}\underset{k \times t}{\mathbf{B}} + \underset{n \times t}{\mathbf{R}},$$

nơi giữa các đối tượng biến giải thích (yếu tố hoặc / và biến số lượng) được mã hoá như các cột trong trong khi -biện pháp lặp đi lặp lại (hoặc trong vòng-môn) mức yếu tố được biểu diễn dưới dạng các biến đồng thời hoặc các cột trong .$k-1$$\mathbf{X}$$t$$\mathbf{Y}$

Với công thức trên, bất kỳ giả thuyết tuyến tính chung nào cũng có thể được biểu diễn dễ dàng như

$$\mathbf{L} \mathbf{B} \mathbf{M} = \mathbf{C},$$

Trong đó bao gồm các trọng số giữa các biến giải thích giữa các chủ thể trong khi chứa các trọng số giữa các cấp của các yếu tố đo lường lặp lại và là một ma trận không đổi, thường là .$\mathbf{L}$$\mathbf{L}$$\mathbf{C}$$\mathbf{0}$

Vẻ đẹp của hệ thống đa biến nằm ở sự tách biệt giữa hai loại biến, giữa- và bên trong chủ đề. Chính sự tách biệt này cho phép xây dựng dễ dàng cho ba loại thử nghiệm có ý nghĩa trong khuôn khổ đa biến: thử nghiệm đa biến cổ điển, thử nghiệm đa biến đo lường lặp lại và thử nghiệm đơn biến đo lường lặp lại. Hơn nữa, thử nghiệm Mauchly cho vi phạm hình cầu và các phương pháp hiệu chỉnh tương ứng (Greenhouse-Geisser và Huynh-Feldt) cũng trở nên tự nhiên đối với thử nghiệm đơn biến trong hệ thống đa biến. Đây chính xác là cách các gói thống kê thực hiện các thử nghiệm đó như xe hơi trong R, GLM trong Số liệu thống kê SPSS của IBM và tuyên bố REPEATED trong PROC GLM của SAS.

Tôi không chắc chắn liệu công thức có vấn đề trong phân tích dữ liệu Bayes hay không, nhưng tôi nghi ngờ khả năng thử nghiệm ở trên có thể được xây dựng và triển khai trong nền tảng đơn biến.

Cả hai mô hình đều tương đương nếu bạn phù hợp với cấu trúc phương sai hiệp phương sai thích hợp. Trong mô hình tuyến tính được chuyển đổi, chúng ta cần điều chỉnh ma trận hiệp phương sai của thành phần lỗi với sản phẩm kronecker có tính khả dụng hạn chế trong các phần mềm tính toán có sẵn. Lý thuyết mô hình tuyến tính - Mô hình đơn biến, đa biến và mô hình hỗn hợp là tài liệu tham khảo tuyệt vời cho chủ đề này.

Đã chỉnh sửa

Đây là một tài liệu tham khảo tốt đẹp có sẵn miễn phí.