Giải thích phương sai của mô hình hồi quy

12

Đây có thể là một lời giải thích đơn giản (dù sao tôi cũng hy vọng).

Tôi đã thực hiện một số phân tích hồi quy trong Matlab bằng cách sử dụng hộp công cụ hồi quy. Tuy nhiên, tôi đã bắt gặp một nghiên cứu nói rằng:

"Sử dụng phân tích hồi quy, có thể thiết lập một mô hình dự đoán chỉ sử dụng bốn tính năng âm thanh giải thích 60% phương sai"

Liên kết đến bài viết ở đây nếu cần: Điều

Tôi không chắc chắn 100% điều này có nghĩa là gì, nhưng tôi hy vọng nó đơn giản. 60% là một điều tốt? Tôi đã cố gắng tìm kiếm điều này nhưng vì luôn có một tỷ lệ phần trăm trước từ "phương sai", thật khó để tìm câu trả lời.

variance

— người dùng 1574598
nguồn

8

Tôi sẽ cố gắng giải thích điều này bằng các thuật ngữ đơn giản.

Mô hình hồi quy tập trung vào mối quan hệ giữa một biến phụ thuộc và một tập hợp độc lập biến . Biến phụ thuộc là kết quả mà bạn đang cố gắng dự đoán, sử dụng một hoặc nhiều biến độc lập.

Giả sử bạn có một mô hình như thế này:

Trọng lượng_i = 3.0 + 35 * Chiều cao_i +

Bây giờ một trong những câu hỏi rõ ràng là: mô hình này hoạt động tốt như thế nào? Nói cách khác, chiều cao của một người dự đoán chính xác - hay giải thích - cân nặng của người đó như thế nào?

Trước khi trả lời câu hỏi này, trước tiên chúng ta cần hiểu mức độ biến động mà chúng ta quan sát được ở trọng lượng của mọi người. Điều này rất quan trọng, bởi vì những gì chúng tôi đang cố gắng làm ở đây là để giải thích sự dao động (biến thể) về trọng lượng giữa những người khác nhau, bằng cách sử dụng chiều cao của họ. Nếu chiều cao của mọi người có thể giải thích sự thay đổi về cân nặng này, thì chúng ta có một mô hình tốt.

Phương sai là một số liệu tốt được sử dụng cho mục đích này, vì nó đo khoảng cách một bộ số được trải ra (từ giá trị trung bình của chúng).

Điều này giúp chúng tôi viết lại câu hỏi ban đầu của chúng tôi: Có bao nhiêu sự chênh lệch về cân nặng của một người có thể được giải thích bằng chiều cao của anh ấy / cô ấy ?

Đây là nơi mà sự khác biệt %% được giải thích. Nhân tiện, để phân tích hồi quy, nó bằng hệ số tương quan R bình phương .

Đối với mô hình trên, chúng ta có thể đưa ra tuyên bố như: Sử dụng phân tích hồi quy, có thể thiết lập mô hình dự đoán bằng chiều cao của một người giải thích 60% phương sai về cân nặng .

Bây giờ, 60% tốt như thế nào? Thật khó để đưa ra một đánh giá khách quan về điều này. Nhưng nếu bạn có các mô hình cạnh tranh khác - giả sử, một mô hình hồi quy khác sử dụng tuổi của một người để dự đoán cân nặng của anh ấy - bạn có thể so sánh các mô hình khác nhau dựa trên mức độ phương sai được giải thích bởi họ và quyết định mô hình nào tốt hơn. (Có một số cảnh báo về vấn đề này, xem 'Giải thích và sử dụng hồi quy' - Christopher H. Achen http://www.sagepub.in/books/Book450/authors )

— Vishal
nguồn

1

Điều đó chắc chắn đã trả lời một tỷ lệ lớn câu hỏi của tôi. Về lý do tại sao các tác giả nói rằng điều này có ý nghĩa rất lớn, tôi không biết. Vì vậy, nếu đây là giá trị R-sqaured và chúng tôi quay lại ví dụ của bạn: giả sử chúng tôi đã sử dụng mô hình cho 'tuổi' có phương sai 80%, và sau đó mô hình cho 'chiều cao' có phương sai 85 % để dự đoán cân nặng của một người, tôi cho rằng mô hình sau sẽ có ý nghĩa hơn? Cảm ơn về liên kết sách, tôi đã mua nó đêm qua vì tôi sẽ sử dụng hồi quy khá nhiều trong những tháng tới.

— 1574598

1

Vâng, bạn có thể kết luận rằng mô hình sau tốt hơn trong khả năng dự đoán (hoặc, giải thích) trọng lượng của một người, ceteris paribus. BTW, bạn đã tuyên bố điều này là "mô hình có phương sai 80%", nhưng nó phải là "mô hình giải thích 80% phương sai".

— Vishal

4

$R^2$

\frac{Σ_{Tôi = = 1}^{n} ({\hat{y}}_{Tôi} - \bar{y})^{2}}{Σ_{Tôi = = 1}^{n} (y_{Tôi} - \bar{y})^{2}}

$\frac{\sum_{i=1}^{n} (\hat{y}_i - \bar{y})^2}{\sum_{i=1}^{n} (y_i - \bar{y})^2}$

Ở đâu $y_i$ là giá trị quan sát được, $\hat{y}_i$ giá trị bình phương nhỏ nhất được trang bị cho $i^\text{th}$ điểm dữ liệu và $\bar{y}$ là trung bình tổng thể. Đôi khi chúng ta nghĩ về $R^2$ như là một tỷ lệ của biến thể được giải thích bởi mô hình vì tổng số phân rã hình vuông

Σ_{Tôi = = 1}^{n} (y_{Tôi} - \bar{y})^{2} = = Σ_{Tôi = = 1}^{n} ({\hat{y}}_{Tôi} - \bar{y})^{2} + Σ_{Tôi = = 1}^{n} (y_{Tôi} - {\hat{y}}_{Tôi})^{2},

$\sum_{i=1}^{n} (y_i - \bar{y})^2 = \sum_{i=1}^{n} (\hat{y}_i - \bar{y})^2 + \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 ,$

thuật ngữ thứ hai là lỗi dư không được mô hình tính. Các $R^2$ về cơ bản cho chúng ta biết bao nhiêu biến thể tổng thể đã được "hấp thụ" vào các giá trị được trang bị.

— DS
nguồn