Làm thế nào để khái niệm lỗi trong mô hình hồi quy?

Tôi đang tham dự một lớp phân tích dữ liệu và một số ý tưởng có gốc rễ của tôi đang bị lung lay. Cụ thể, ý tưởng rằng lỗi (epsilon), cũng như bất kỳ loại phương sai nào khác, chỉ áp dụng (vì vậy tôi nghĩ) cho một nhóm (một mẫu hoặc toàn bộ dân số). Bây giờ, chúng ta được dạy rằng một trong những giả định hồi quy là phương sai là "giống nhau cho tất cả các cá nhân". Điều này bằng cách nào đó gây sốc cho tôi. Tôi luôn nghĩ rằng đó là phương sai trong Y trên tất cả các giá trị của X được coi là không đổi.

Tôi đã có một cuộc trò chuyện với prof, người nói với tôi rằng khi chúng tôi thực hiện hồi quy, chúng tôi cho rằng mô hình của chúng tôi là đúng. Và tôi nghĩ đó là phần khó khăn. Đối với tôi, thuật ngữ lỗi (epsilon) luôn có nghĩa như "bất kỳ yếu tố nào chúng tôi không biết và điều đó có thể ảnh hưởng đến biến kết quả của chúng tôi, cộng với một số lỗi đo lường". Theo cách mà lớp học được dạy, không có thứ gọi là "những thứ khác"; mô hình của chúng tôi được coi là đúng và đầy đủ. Điều này có nghĩa là tất cả các biến thể dư phải được coi là một sản phẩm của lỗi đo lường (do đó, đo một cá nhân 20 lần sẽ được dự kiến ​​sẽ tạo ra phương sai tương tự như đo 20 cá thể một lần).

Tôi cảm thấy có gì đó không đúng ở đâu đó, tôi muốn có một số ý kiến ​​chuyên gia về vấn đề này ... Có chỗ nào để giải thích về thuật ngữ lỗi là gì, nói một cách khái niệm không?

Nếu có các khía cạnh của các cá nhân có ảnh hưởng đến các giá trị y kết quả, thì có một số cách để đạt được các khía cạnh đó (trong trường hợp đó họ phải là một phần của yếu tố dự đoán x), hoặc không có cách nào để có được điều đó thông tin.

Nếu không có cách nào nhận được thông tin này và không có cách nào liên tục đo các giá trị y cho các cá nhân, thì điều đó thực sự không quan trọng. Nếu bạn có thể đo y nhiều lần và nếu tập dữ liệu của bạn thực sự chứa các phép đo lặp lại cho một số cá nhân, thì bạn đã gặp vấn đề tiềm ẩn trong tay, vì lý thuyết thống kê giả định tính độc lập của sai số đo / dư.

Ví dụ: giả sử bạn đang cố gắng khớp với mô hình của biểu mẫu

$y=\beta_0+\beta_1 x$

và điều đó cho mỗi cá nhân,

$yind=100+10x+z$

Trong đó z phụ thuộc vào từng cá thể và thường được phân phối với giá trị trung bình 0 và độ lệch chuẩn 10. Với mỗi lần đo lặp lại của một cá nhân,

$ymeas=100+10x+z+e$

$e$

Bạn có thể thử mô hình này như

$y=\beta_0+\beta_1 x+\epsilon$

$\epsilon$

$\sigma=\sqrt{10^2+0.1^2}=\sqrt{100.01}$

Miễn là bạn chỉ có một phép đo cho mỗi cá nhân, điều đó sẽ ổn. Tuy nhiên, nếu bạn có nhiều phép đo cho cùng một cá nhân, thì số dư của bạn sẽ không còn độc lập nữa!

$\beta_0=100$$\beta_1=10$$\chi^2$

Tôi nghĩ rằng "lỗi" được mô tả tốt nhất là "một phần của các quan sát không thể đoán được với thông tin hiện tại của chúng tôi". Cố gắng suy nghĩ về mặt dân số so với mẫu dẫn đến các vấn đề về khái niệm (dù sao nó cũng đúng với tôi), cũng như nghĩ về các lỗi là "hoàn toàn ngẫu nhiên" được rút ra từ một số phân phối. suy nghĩ về mặt dự đoán và "dự đoán" có ý nghĩa hơn đối với tôi.

$p(e_{1},\dots,e_{n})$$E(\frac{1}{n}\sum_{i=1}^{n}e_{i}^2)=\sigma^2$$\sigma^2$$\sigma$

$n$

Đây là liên kết rất hữu ích để giải thích hồi quy tuyến tính đơn giản: http://www.dangoldstein.com/dsn/archives/2006/03/every_wonder_ho.html có lẽ nó có thể giúp nắm bắt khái niệm "lỗi".

FD

Tôi không đồng ý với công thức của giáo sư về điều này. Như bạn nói, ý tưởng rằng phương sai là giống nhau cho mỗi cá nhân ngụ ý rằng thuật ngữ lỗi chỉ đại diện cho lỗi đo lường. Đây thường không phải là cách mô hình hồi quy bội cơ bản được xây dựng. Cũng như bạn nói, phương sai được xác định cho một nhóm (cho dù đó là một nhóm các đối tượng riêng lẻ hay một nhóm các phép đo). Nó không áp dụng ở cấp độ cá nhân, trừ khi bạn có các biện pháp lặp đi lặp lại.

Một mô hình cần phải được hoàn thành trong đó thuật ngữ lỗi không được chứa ảnh hưởng từ bất kỳ biến nào có tương quan với các yếu tố dự đoán. Giả định là thuật ngữ lỗi độc lập với các yếu tố dự đoán. Nếu một số biến tương quan bị bỏ qua, bạn sẽ nhận được các hệ số sai lệch (đây được gọi là biến thiên bị bỏ qua ).