Thuật ngữ phương sai trong phân rã phương sai của hồi quy tuyến tính

Trong 'Các yếu tố của học thống kê', biểu thức phân rã phương sai của mô hình tuyến tính được đưa ra là trong đó là hàm mục tiêu thực tế, là phương sai của lỗi ngẫu nhiên trong mô hình và là công cụ ước tính tuyến tính của .

E r r (x_{0}) = σ_{ϵ}^{2} + E [f (x_{0}) - E \hat{f} (x_{0})]^{2} + | | h (x_{0}) | |^{2} σ_{ϵ}^{2},

$Err(x_0)=\sigma_\epsilon^2+E[f(x_0)-E\hat f(x_0)]^2+||h(x_0)||^2\sigma_\epsilon^2,$

f (x_{0})

$f(x_0)$

σ_{ϵ}^{2}

$\sigma_\epsilon^2$

y = f (x) + ϵ

$y=f(x)+\epsilon$

\hat{f} (x)

$\hat f(x)$

f (x)

$f(x)$

Thuật ngữ phương sai đang gây rắc rối cho tôi ở đây vì phương trình ngụ ý rằng phương sai sẽ bằng 0 nếu các mục tiêu không ồn ào, nghĩa là,Nhưng nó không có ý nghĩa gì với tôi vì ngay cả với độ ồn bằng 0, tôi vẫn có thể nhận được các công cụ ước tính khác nhau cho các tập huấn luyện khác nhau có nghĩa là phương sai là khác không. $\sigma_\epsilon^2=0.$ $\hat f(x_0)$

Ví dụ: giả sử hàm mục tiêu là một bậc hai và dữ liệu huấn luyện chứa hai điểm được lấy mẫu ngẫu nhiên từ phương trình bậc hai này; rõ ràng, tôi sẽ nhận được một sự phù hợp tuyến tính khác nhau mỗi khi tôi lấy mẫu ngẫu nhiên hai điểm từ mục tiêu bậc hai. Vậy thì làm thế nào phương sai có thể bằng không? $f(x_0)$

Bất cứ ai có thể giúp tôi tìm ra những gì sai trong sự hiểu biết của tôi về phân rã phương sai?

regression linear-model bias-variance-tradeoff

— Abhinav Gupta
nguồn

Luôn luôn có một sự tinh tế ẩn giấu trong các phương pháp điều trị sai lệch và phương sai, và điều quan trọng là phải chú ý cẩn thận đến nó khi nghiên cứu. Nếu bạn đọc lại một vài từ đầu tiên của ESL trong một phần từ chương đó, các tác giả sẽ dành cho nó một số sự tôn trọng.

Thảo luận về ước tính tỷ lệ lỗi có thể gây nhầm lẫn, bởi vì chúng ta phải làm rõ số lượng nào là cố định và số lượng ngẫu nhiên

Sự tinh tế là những gì cố định, và những gì là ngẫu nhiên .

Trong các phương pháp điều trị truyền thống về hồi quy tuyến tính, dữ liệu được coi là cố định và đã biết. Nếu bạn theo dõi các lập luận trong ESL, bạn sẽ thấy rằng các tác giả cũng đang đưa ra giả định này. Theo những giả định, ví dụ bạn không đi vào chơi, vì chỉ nguồn còn lại của tính ngẫu nhiên từ sự phân bố có điều kiện của cho . Nếu nó hữu ích, bạn có thể muốn thay thế ký hiệu trong tâm trí của bạn bằng . $X$ $y$ $X$ $Err(x_0)$ $Err(x_0 \mid X)$

Điều đó không có nghĩa là mối quan tâm của bạn là không hợp lệ, chắc chắn việc lựa chọn dữ liệu đào tạo thực sự mang lại sự ngẫu nhiên trong thuật toán mô hình của chúng tôi và một học viên siêng năng sẽ cố gắng định lượng ảnh hưởng của tính ngẫu nhiên này đối với kết quả của họ. Trên thực tế, bạn có thể thấy khá rõ rằng các thực tiễn phổ biến về bootstrapping và xác thực chéo kết hợp rõ ràng các nguồn ngẫu nhiên này vào các suy luận của chúng.

Để rút ra biểu thức toán học rõ ràng cho độ lệch và phương sai của mô hình tuyến tính trong bối cảnh của tập dữ liệu huấn luyện ngẫu nhiên, người ta sẽ cần đưa ra một số giả định về cấu trúc của tính ngẫu nhiên trong dữ liệuĐiều này sẽ liên quan đến một số giả định về sự phân bố của . Điều này có thể được thực hiện, nhưng đã không trở thành một phần của các giải trình chính của những ý tưởng này. $X$ $X$

— Matthew Drury
nguồn

Cảm ơn rất nhiều vì đã làm sáng tỏ sự thật rằng các tác giả đã giả sử là cố định, vì vậy kỳ vọng ở đây là wrt không . Nhưng chúng ta có thể viết , có nghĩa là coi X là ngẫu nhiên, chúng ta sẽ nhận được . Sẽ vẫn là 0 nếu bằng không. Tôi có một nghi ngờ tương tự về phương trình này, bạn có thể tìm hiểu đạo hàm của tôi tại bài viết này: stats.stackexchange.com/questions/307110/ Kẻ

X

$X$

Y | X

$Y|X$

(X, Y)

$(X,Y)$

E = E_{X} E_{Y | X}

$E=E_XE_{Y|X}$

V a r (\hat{f} (x_{0})) = E_{X} [| | h (x_{0}) | |^{2} σ_{ϵ}^{2}]

$Var(\hat f(x_0))=E_X[||h(x_0)||^2\sigma_\epsilon^2]$

σ_{ϵ}^{2}

$\sigma_\epsilon^2$

— Abhinav Gupta

Tôi đoán có các tác giả giả định mô hình được chỉ định chính xác, tức là bao gồm tất cả và chỉ các dự đoán có liên quan với các biến đổi chính xác. Tôi phải quay lại cuốn sách thay vì dựa vào trí nhớ của mình để xác nhận.

— Matthew Drury

Nếu theo 'được chỉ định chính xác', bạn có nghĩa là hàm mục tiêu thực sự là tuyến tính thì tôi hiểu rằng nhiễu bằng 0 sẽ hàm ý độ lệch bằng không. Nhưng hóa ra ngay cả khi hàm mục tiêu không tuyến tính, chúng ta có cùng biểu thức chính xác cho phương sai.

— Abhinav Gupta

Điều đó đúng, nhưng trong trường hợp đó "được chỉ định chính xác" có nghĩa là bạn đang sử dụng hồi quy tuyến tính để phù hợp với một mô hình bao gồm các dự đoán chính xác. Vì vậy, nếu mối quan hệ thực sự là bậc hai, thì bạn sẽ giả sử mô hình của bạn bao gồm các điều khoản bậc hai.

— Matthew Drury