Tại sao độ lệch bằng 0 đối với công cụ ước tính OLS đối với hồi quy tuyến tính?

Tôi hiểu khái niệm về sự đánh đổi sai lệch. Xu hướng dựa trên sự hiểu biết của tôi, đại diện cho lỗi vì sử dụng một lớp đơn giản (ví dụ: tuyến tính) để nắm bắt một ranh giới quyết định phi tuyến tính phức tạp. Vì vậy, tôi mong đợi công cụ ước tính OLS có độ lệch cao và phương sai thấp.

Nhưng đã đi qua Định lý Gauss Markov nói rằng độ lệch của OLS = 0 là điều đáng ngạc nhiên đối với tôi. Vui lòng giải thích mức độ thiên vị bằng 0 đối với OLS vì tôi dự đoán độ lệch của OLS sẽ cao. Tại sao sự hiểu biết của tôi về sai lệch?

Chúng ta có thể nghĩ về bất kỳ nhiệm vụ học tập có giám sát nào, có thể là hồi quy hoặc phân loại, khi cố gắng học một tín hiệu cơ bản từ dữ liệu nhiễu. Hãy xem xét ví dụ đơn giản theo dõi:

Mục tiêu của chúng tôi là ước tính tín hiệu thực dựa trên tập hợp các cặp được quan sát trong đó và là một số nhiễu ngẫu nhiên có nghĩa là 0. cuối cùng, chúng tôi phù hợp với một mô hình bằng thuật toán học máy yêu thích của chúng tôi.$f(x)$$\{x_i, y_i\}$$y_i = f(x_i) + \epsilon_i$$\epsilon_i$$\hat{f}(x)$

Khi chúng tôi nói rằng công cụ ước tính OLS không thiên vị, điều chúng tôi thực sự muốn nói là nếu dạng thực của mô hình là , thì ước tính OLS và có các thuộc tính đáng yêu mà và .$f(x) = \beta_0 + \beta_1 x$$\hat{\beta}_0$$\hat{\beta}_1$$E(\hat{\beta}_0) = \beta_0$$E(\hat{\beta}_1) = \beta_1$

Điều này đúng với ví dụ đơn giản của chúng tôi, nhưng nó là giả định rất mạnh! Nói chung, và đến mức không có mô hình nào thực sự chính xác, chúng ta không thể đưa ra các giả định như vậy về . Vì vậy, một mô hình có dạng sẽ bị sai lệch.$f(x)$$\hat{f}(x) = \hat{\beta}_0 + \hat{\beta}_1 x$

Nếu dữ liệu của chúng ta trông như thế này thì sao? ( cảnh báo spoiler: )$f(x) = sin(x)$

Bây giờ, nếu chúng ta phù hợp với mô hình ngây thơ , thì việc ước tính (độ lệch cao) là không đủ . Nhưng mặt khác, nó tương đối không nhạy với tiếng ồn (phương sai thấp).$\hat{f}(x) = \hat{\beta}_0 + \hat{\beta}_1 x$$f(x)$

Nếu chúng tôi thêm nhiều điều khoản cho mô hình, hãy nói , chúng ta có thể thu được nhiều tín hiệu "không rõ" hơn nhờ vào độ phức tạp được thêm vào trong cấu trúc mô hình của chúng ta. Chúng tôi hạ thấp độ lệch trên dữ liệu được quan sát, nhưng độ phức tạp thêm vào nhất thiết làm tăng phương sai. (Lưu ý, nếu thực sự định kỳ, mở rộng đa thức là một lựa chọn kém!)$\hat{f}(x) = \hat{\beta}_0 + \hat{\beta}_1x + \hat{\beta}_2x^2 + ... \hat{\beta}_p x^p$$f(x)$

Nhưng một lần nữa, trừ khi chúng ta biết rằng đúng , mô hình của chúng tôi sẽ không bao giờ không thiên vị , ngay cả khi chúng tôi sử dụng OLS để phù hợp với các thông số.$f(x) = \beta_0 + \beta_1 sin(x)$