Giải thích sự khác biệt giữa hồi quy bội và hồi quy đa biến, với việc sử dụng tối thiểu các ký hiệu / toán học

Là hồi quy bội và đa biến có thực sự khác nhau? Một phương sai là gì?

Rất nhanh chóng, tôi sẽ nói: 'bội số' áp dụng cho số lượng dự đoán nhập mô hình (hoặc tương đương ma trận thiết kế) với một kết quả duy nhất (phản hồi Y), trong khi 'đa biến' đề cập đến ma trận các vectơ phản hồi. Không thể nhớ tác giả đã bắt đầu phần giới thiệu về mô hình đa biến với sự cân nhắc đó, nhưng tôi nghĩ đó là Brian Everitt trong sách giáo khoa An R và S-Plus Đồng hành với Phân tích đa biến . Để thảo luận kỹ lưỡng về vấn đề này, tôi sẽ đề nghị xem cuốn sách mới nhất của ông, Mô hình đa biến và Phân tích đa biến cho Khoa học hành vi .

$X_i$$\mu$$\sigma^2$$\mu$$[\mu-2\sigma;\mu+2\sigma]$

Đây là hai ví dụ liên quan chặt chẽ minh họa các ý tưởng. Các ví dụ có phần trung tâm của Hoa Kỳ nhưng các ý tưởng có thể được ngoại suy sang các quốc gia khác.

ví dụ 1

Giả sử rằng một trường đại học muốn tinh chỉnh các tiêu chí tuyển sinh của mình để họ chấp nhận sinh viên 'tốt hơn'. Ngoài ra, giả sử rằng Điểm trung bình (GPA) của học sinh là những gì trường đại học muốn sử dụng làm thước đo hiệu suất cho học sinh. Họ có một số tiêu chí trong đầu như GPA trung học (HSGPA), điểm SAT (SAT), Giới tính, v.v. và muốn biết một trong những tiêu chí này có liên quan đến GPA.

Giải pháp: Hồi quy bội

Trong bối cảnh trên, có một biến phụ thuộc (GPA) và bạn có nhiều biến độc lập (HSGPA, SAT, Giới tính, v.v.). Bạn muốn tìm ra một trong những biến độc lập là yếu tố dự báo tốt cho biến phụ thuộc của bạn. Bạn sẽ sử dụng nhiều hồi quy để thực hiện đánh giá này.

Ví dụ 2

Thay vì tình huống trên, giả sử văn phòng tuyển sinh muốn theo dõi hiệu suất của sinh viên theo thời gian và mong muốn xác định một trong những tiêu chí của họ thúc đẩy hiệu suất của sinh viên theo thời gian. Nói cách khác, họ có điểm GPA trong bốn năm mà một học sinh ở lại trường (giả sử, GPA1, GPA2, GPA3, GPA4) và họ muốn biết một trong những biến độc lập dự đoán điểm GPA tốt hơn trong một năm cơ sở năm. Văn phòng tuyển sinh hy vọng sẽ thấy rằng các biến độc lập tương tự dự đoán hiệu suất trong cả bốn năm để lựa chọn tiêu chí tuyển sinh của họ đảm bảo rằng hiệu suất của sinh viên luôn cao trong cả bốn năm.

Giải pháp: Hồi quy đa biến

Trong ví dụ 2, chúng ta có nhiều biến phụ thuộc (ví dụ: GPA1, GPA2, GPA3, GPA4) và nhiều biến độc lập. Trong tình huống như vậy, bạn sẽ sử dụng hồi quy đa biến.

$y$$x$$y = f(x)$

$y = f(x_1, x_2, ..., x_n)$

$y_1, y_2, ..., y_m = f(x_1, x_2, ..., x_n)$$y_{11}, y_{12}, ...$$x_{11}, x_{12}, ...$$Y = f(X)$

Đọc thêm:

• "R Cookbook" của P. Teetor, nhà xuất bản O'Reilly, 2011, Chương 11 về "Hồi quy tuyến tính và ANOVA".
• Câu hỏi của Quora " Sự khác biệt giữa hồi quy tuyến tính đa biến và hồi quy đa biến là gì? "
• Mathworks (Matlab) hướng dẫn về hồi quy tuyến tính .

Tôi nghĩ rằng cái nhìn sâu sắc quan trọng (và khác biệt) ở đây ngoài số lượng biến ở hai bên của phương trình là đối với trường hợp hồi quy đa biến, mục tiêu là sử dụng thực tế là có (tương quan) giữa các biến trả lời (hoặc) kết quả). Ví dụ, trong một thử nghiệm y tế, các yếu tố dự đoán có thể là cân nặng, tuổi tác và chủng tộc, và các biến số kết quả là huyết áp và cholesterol. Về lý thuyết, chúng ta có thể tạo ra hai mô hình "hồi quy bội", một mô hình hồi quy huyết áp về cân nặng, tuổi tác và chủng tộc, và mô hình thứ hai hồi quy cholesterol theo các yếu tố tương tự. Tuy nhiên, thay vào đó, chúng ta có thể tạo một mô hình hồi quy đa biến duy nhất dự đoán cả haihuyết áp và cholesterol đồng thời dựa trên ba biến dự đoán. Ý tưởng là mô hình hồi quy đa biến có thể tốt hơn (dự đoán nhiều hơn) đến mức có thể học được nhiều hơn từ mối tương quan giữa huyết áp và cholesterol ở bệnh nhân.

Trong hồi quy đa biến có nhiều hơn một biến phụ thuộc với các phương sai (hoặc phân phối) khác nhau. Các biến dự đoán có thể nhiều hơn một hoặc nhiều. Vì vậy, nó có thể là một hồi quy bội với một ma trận các biến phụ thuộc, tức là nhiều phương sai. Nhưng khi chúng ta nói hồi quy bội, chúng tôi chỉ có nghĩa là một biến phụ thuộc với một phân phối hoặc phương sai duy nhất. Các biến dự đoán là nhiều hơn một. Để tóm tắt nhiều đề cập đến nhiều hơn một biến dự đoán nhưng đa biến đề cập đến nhiều hơn một biến phụ thuộc.