Khi nào mô hình tuyến tính không phù hợp có được đẹp mạnh mẽ?

Câu hỏi:

Là các mô hình tuyến tính không phù hợp được sử dụng trong thực tế hoặc chúng là một loại tò mò được mô tả theo thời gian trong các tạp chí khoa học? Nếu vậy, trong những lĩnh vực họ được sử dụng?
Có những ví dụ khác về các mô hình như vậy?
Cuối cùng, các lỗi tiêu chuẩn, giá trị , v.v. được lấy từ OLS cho các mô hình như vậy có chính xác không, hay chúng có nên được sửa chữa bằng cách nào đó không? $p$ $R^2$

Bối cảnh: Các mô hình tuyến tính không phù hợp được mô tả theo thời gian trong tài liệu. Nói chung, các mô hình như vậy có thể được mô tả như là

y = a + b \sum_{i} w_{i} x_{i} + ε

$y = a + b \sum_i w_i x_i + \varepsilon$

Điều làm cho chúng khác với hồi quy là các không phải là hệ số ước tính trong mô hình, nhưng là các trọng số $w_j$

bằng với mỗi biến ( hồi quy trọng số đơn vị ), $w_i = 1$
dựa trên mối tương quan (Dana và Dawes, 2004), $w_i = \rho(y, x_i)$
được chọn ngẫu nhiên (Dawes, 1979),
$-1$ cho các biến liên quan tiêu cực đến , cho các biến liên quan tích cực đến (Wainer, 1976). $y$ $1$ $y$

Ngoài ra, thông thường sử dụng một số loại tỷ lệ tính năng, như chuyển đổi các biến thành -scores. Vì vậy, loại mô hình này có thể được đơn giản hóa để hồi quy tuyến tính đơn biến $Z$

y = a + b v + ε

$y = a + b v + \varepsilon$

trong đó và có thể được ước tính đơn giản bằng hồi quy OLS. $v = \sum w_i x$

Tài liệu tham khảo:
Dawes, Robyn M. (1979). Vẻ đẹp mạnh mẽ của các mô hình tuyến tính không phù hợp trong việc ra quyết định . Nhà tâm lý học người Mỹ, 34, 571-582.

Graefe, A. (2015). Cải thiện dự báo bằng cách sử dụng các yếu tố dự đoán có trọng số như nhau . Tạp chí nghiên cứu kinh doanh, 68 (8), 1792-1799.

Wainer, Howard (1976). Các hệ số ước tính trong các mô hình tuyến tính: Nó không tạo ra bất kỳ điều gì . Bản tin tâm lý 83 (2), 213.

Dana, J. và Dawes, RM (2004). Sự vượt trội của các giải pháp thay thế đơn giản cho hồi quy cho các dự đoán khoa học xã hội . Tạp chí Thống kê Giáo dục và Hành vi, 29 (3), 317-331.

— Tim
nguồn

Theo nghĩa nào thì các số liệu thống kê thu được từ các mô hình này là "không chính xác"?

— whuber

Khi các được chỉ định trước & ước tính, đây chỉ là giảm dữ liệu được thực hiện trên các yếu tố dự đoán - đủ phổ biến dưới nhiều hình thức khác nhau (ví dụ: Thang đo hôn mê của Glasgow và Chỉ số tỷ lệ mắc bệnh Charlson) - sẽ không ảnh hưởng đến tính hợp lệ của suy luận trong khung OLS thông thường. Khi được sử dụng để xác định s, các lỗi tiêu chuẩn & c. sẽ ra ngoài, theo hướng lạc quan mà tôi nghĩ.

w_{i}

$w_i$

b

$b$

y

$y$

w_{i}

$w_i$

— Scortchi - Phục hồi Monica

Đó không phải là một bình luận được thông báo - các bài báo vẫn nằm trên đống "để đọc" của tôi. Tôi chỉ tự hỏi: - "tại sao" không đúng "?". Không có gì lạ khi một yếu tố dự đoán là sự kết hợp tuyến tính của các biến khác - trung bình của một số phép đo, điểm thành phần chính, dự đoán từ hồi quy khác, mức độ từ chuỗi thời gian được làm mịn theo cấp số nhân hoặc giá trị được tính toán từ một thiết lập tốt hoặc một chỉ số ad hoc. Không ước tính trọng lượng từ mức độ phản ứng phụ tùng mức độ tự do, giúp tránh phù hợp quá mức với kích thước mẫu nhỏ hơn.

— Scortchi - Phục hồi Monica

Ví dụ, Beddhu (2000), "Thang đo độ hấp thụ đơn giản dự đoán kết quả lâm sàng và chi phí ở bệnh nhân chạy thận" Am. J. Med., 108 , 8 phương trình mô hình có dạng giống như của bạn trong đó s được định nghĩa là các biến chỉ báo cho bệnh tiểu đường, ung thư hạch, & c., Và được chỉ định trước. Tôi cho rằng điều tôi đang nói là sự khác biệt giữa các mô hình hồi quy "không đúng" và "đúng" dường như dựa trên khái niệm về một bộ do Chúa ban cho , mỗi mô hình "đúng" sẽ ước tính một hệ số .

x_{i}

$x_i$

w_{i}

$w_i$

x_{i}

$x_i$

— Scortchi - Phục hồi Monica

Khi , và nếu được ước tính từ cùng một dữ liệu thì mô hình phù hợp với, đó sẽ là một ấm cá hoàn toàn khác.

w_{i} = ρ (y, x_{i})

$w_i = \rho(y, x_i)$

ρ

$\rho$

— Scortchi - Phục hồi Monica

Trong thực tế, dường như đây là một loại cấu trúc hiệp phương sai giả định. Nói cách khác, đây là một kiểu mô hình trước của Bayes.

Điều này đạt được sự mạnh mẽ so với thủ tục MLR thông thường vì số lượng tham số ( df) bị giảm và đưa ra tính không chính xác do độ lệch biến bị bỏ qua tăng , OVB. Do OVB, độ dốc bị san phẳng,, hệ số xác định giảm . $\downarrow$ $|\hat\beta|<|\beta|$ $\hat{R}^2<R^2$

Kinh nghiệm cá nhân của tôi là ưu việt của phương pháp Bayes là sử dụng mô hình tốt hơn; biến đổi các tham số, sử dụng các chỉ tiêu khác và / hoặc sử dụng các phương pháp phi tuyến. Đó là, một khi tính chất vật lý của vấn đề và các phương pháp được khám phá và phối hợp chính xác, các thống kê F, hệ số xác định, v.v ... sẽ cải thiện hơn là suy giảm.

— Carl
nguồn