Hồi quy tuyến tính đa biến so với một số mô hình hồi quy đơn biến

Trong cài đặt hồi quy đơn biến, chúng tôi cố gắng tạo mô hình

Trong đó một vectơ của n quan sát và X ∈ R n × m ma trận thiết kế với m dự đoán. Giải pháp là β 0 = ( X T X ) - 1 X y .$y \in \mathbb{R}^n$$n$$X \in \mathbb{R}^{n \times m}$$m$$\beta_0 = (X^TX)^{-1}Xy$

Trong cài đặt hồi quy đa biến, chúng tôi cố gắng mô hình hóa

Trong đó là một ma trận gồm n quan sát và p các biến tiềm ẩn khác nhau. Giải pháp là β 0 = ( X T X ) - 1 X Y .$y \in \mathbb{R}^{n \times p}$$n$$p$$\beta_0 = (X^TX)^{-1}XY$

Câu hỏi của tôi là làm thế nào khác với việc thực hiện hồi quy tuyến tính đơn biến khác nhau? Tôi đọc ở đây rằng trong trường hợp sau chúng ta sẽ xem xét mối tương quan giữa các biến phụ thuộc, nhưng tôi không thấy nó từ toán học.$p$

Trong cài đặt hồi quy tuyến tính đa biến cổ điển, chúng ta có mô hình:

nơi đại diện cho các biến độc lập, Y đại diện cho nhiều biến phản ứng, và ε là một thuật ngữ tiếng ồn Gaussian iid. Tiếng ồn có ý nghĩa bằng không và có thể tương quan giữa các biến trả lời. Giải pháp khả năng tối đa cho các trọng số tương đương với giải pháp bình phương nhỏ nhất (bất kể tương quan nhiễu) [1] [2]:$X$$Y$$\epsilon$

$i$$\hat{\beta}$$i$$(X^T X)^{-1} X^T$$i$$Y$$i$

Tuy nhiên, hồi quy tuyến tính đa biến khác với giải quyết riêng các vấn đề hồi quy riêng vì các quy trình suy luận thống kê chiếm tương quan giữa nhiều biến trả lời (ví dụ: xem [2], [3], [4]). Ví dụ, ma trận hiệp phương sai nhiễu xuất hiện trong phân phối mẫu, thống kê kiểm tra và ước tính khoảng thời gian.

Một sự khác biệt khác xuất hiện nếu chúng ta cho phép mỗi biến trả lời có tập hợp số riêng:

$Y_i$$i$$X_i$$\epsilon_i$

Người giới thiệu

1. Zellner (1962) . Một phương pháp hiệu quả để ước tính các hồi quy và kiểm tra dường như không liên quan đến sai lệch tổng hợp.
2. Helwig (2017) . Hồi quy tuyến tính đa biến [Slides]
3. Cáo và Weisberg (2011) . Các mô hình tuyến tính đa biến trong R. [Phụ lục cho: Một đồng hành R với hồi quy ứng dụng]
4. Di Lặc (2013) . Mô hình hồi quy tuyến tính đa biến. [Trang trình bày]