Trong hồi quy tuyến tính tại sao chính quy hóa cũng xử phạt các giá trị tham số?

Hiện đang học hồi quy sườn và tôi hơi bối rối về việc xử phạt các mô hình phức tạp hơn (hoặc định nghĩa của một mô hình phức tạp hơn).

Theo những gì tôi hiểu, độ phức tạp của mô hình không nhất thiết tương quan với thứ tự đa thức. Vì vậy: là một mô hình phức tạp hơn:

$$2 + 3+ 4x^2 + 5x^3 + 6x^4$$ $$5x^5$$

Và tôi biết rằng điểm chính quy là giữ cho độ phức tạp của mô hình thấp, vì vậy, ví dụ, chúng ta có đa thức bậc 5

$$f(x; w) = w_0 + w_1x + w_2x^2 + w_3x^3 + w_4x^4 + w_5x^5$$

Càng nhiều tham số bằng 0 thì càng tốt.

Nhưng điều tôi không hiểu là, nếu đó là đa thức bậc giống nhau thì tại sao các giá trị tham số thấp hơn lại bị phạt ít hơn? Vậy tại sao:

$$2 + 5x + x^3$$ là một mô hình ít phức tạp hơn

$$433+ 342x + 323x^3$$ cả hai đều có cùng thứ tự đa thức và các giá trị tham số chỉ đơn giản phụ thuộc vào dữ liệu.

Cảm ơn bạn!

các giá trị tham số chỉ đơn giản phụ thuộc vào dữ liệu

Đây là phần chính của câu hỏi của bạn. Đây là nơi bạn bối rối.

Có, các giá trị tham số phụ thuộc vào dữ liệu. Nhưng dữ liệu được cố định khi chúng ta phù hợp với một mô hình. Nói cách khác, chúng tôi phù hợp với một mô hình có điều kiện trên các quan sát . Không có nghĩa gì khi so sánh sự phức tạp của các mô hình khác nhau được trang bị cho các bộ dữ liệu khác nhau .

Và trong bối cảnh của một tập dữ liệu cố định, một mô hình

$$2 + 5x + x^3$$

thực sự gần với mô hình đơn giản nhất có thể, cụ thể là mô hình zero phẳng, hơn

$$433+ 342x + 323x^3,$$

và điều này giữ bất kể quy mô quan sát của bạn.

Ngẫu nhiên, phần chặn ( và trong ví dụ của bạn) thường không bị phạt, ví dụ, trong hầu hết các công thức Lasso, bởi vì chúng ta thường rất tốt khi để nó thay đổi tự do để nắm bắt trung bình tổng thể của các quan sát. Nói cách khác, chúng ta thu nhỏ mô hình về mức trung bình của các quan sát, không phải là mô hình 0 hoàn chỉnh (trong đó số 0 thường là tùy ý). Theo nghĩa này, mô hình phẳng và phẳng sẽ được coi là phức tạp như nhau.$2$$433$$2$$433$