Cho hai mô hình hồi quy tuyến tính, mô hình nào sẽ hoạt động tốt hơn?

Tôi đã tham gia một khóa học máy tại trường đại học của tôi. Trong một trong những câu hỏi, câu hỏi này đã được hỏi.

Mô hình 1:

$$y = \theta x + \epsilon$$ Mô hình 2: $$y = \theta x + \theta^2 x + \epsilon$$

Những mô hình trên sẽ phù hợp với dữ liệu tốt hơn? (giả sử dữ liệu có thể được mô hình hóa bằng hồi quy tuyến tính)

Câu trả lời đúng (theo giáo sư) là cả hai mô hình sẽ hoạt động tốt như nhau. Tuy nhiên tôi tin rằng mô hình đầu tiên sẽ phù hợp hơn.

Đây là lý do đằng sau câu trả lời của tôi. Mô hình thứ hai, có thể được viết lại như $\alpha x + \epsilon$ , $\alpha = \theta + \theta^2$ sẽ không giống như mô hình đầu tiên. Thực tế, $\alpha$ là một parabol và do đó có giá trị tối thiểu ( $-0.25$ trong trường hợp này). Bây giờ vì điều này, phạm vi $\theta$ trong mô hình thứ nhất lớn hơn phạm vi của $\alpha$ trong mô hình thứ hai. Do đó, nếu dữ liệu phù hợp nhất có độ dốc nhỏ hơn $-0.25$ , mô hình thứ hai sẽ hoạt động rất kém so với mô hình đầu tiên. Tuy nhiên, trong trường hợp độ dốc của sự phù hợp tốt nhất lớn hơn$-0.25$ , cả hai mô hình sẽ hoạt động tốt như nhau.

Vì vậy, cái đầu tiên tốt hơn, hay cả hai đều giống hệt nhau?

Mô hình 2 có thể được viết như sau: Điều này có vẻ giống với mô hình 1, chỉ với ký hiệu khác nhau cho các siêu ( θ , β ). Tuy nhiên, đối với mô hình 1 chúng ta có thể viết θ = (

$$y=(\theta + \theta^{2}) x+\epsilon=\beta x+\epsilon.$$ $\theta, \beta$
$$\hat{\theta}=(X^{'}X)^{-1}X^{'}y.$$

Nhưng vì trong mô hình 2, chúng ta có mà sau đó khi bạn đề cập thực sự là phạm vi của β phải thuộc về [ - 0,25 , +

$$\beta=\theta + \theta^{2},$$ $\hat{\beta}$ cho θ ∈ R . Điều này sẽ dẫn đến sự khác biệt trong 2 mô hình.$[-0.25,+\infty]$$\theta \in R$

Như vậy trong mô hình 2 bạn đang kìm hãm ước tính hệ số của bạn không giống như mô hình 1. Để làm điều này rõ ràng hơn, cần lưu ý rằng trong mô hình thu được thông qua việc giảm thiểu hàm tổn thất vuông θ = arg min θ ∈ $\hat{\theta}$ Tuy nhiên trong mô hình 2 ước tính thu được thông qua β =arg min β ≥ - 0,25 (y-Xβ

$$\hat{\theta}=\arg\min_{\theta\in{R}} \ \ (y-X\theta)^{'}(y-X\theta)=(X^{'}X)^{-1}X^{'}y.$$ mà có thể dẫn đến một kết quả khác nhau. $$\hat{\beta}=\arg\min_{\beta\geq-0.25} \ \ (y-X\beta)^{'}(y-X\beta)$$

Không chắc chắn tôi hiểu lý do của bạn. Nếu bạn lấy:

và y = θ x +

$$y = \alpha x+\epsilon$$ $$y = \theta x + \epsilon$$

và ước tính và θ sử dụng đơn giản tuyến tính hồi quy, bạn sẽ nhận được α = θ . Hơn nữa, vì phương pháp này hoàn toàn giống nhau nên không có sự khác biệt trong giá trị R 2 mà bạn sẽ nhận được trong một trong hai phương trình. Giá trị cơ bản của θ trong phương trình đầu tiên tất nhiên sẽ khác nhau, kể từ khi α = θ + θ 2 , nhưng điều này không có gì để làm với phù hợp.$\alpha$$\theta$$\alpha$$\theta$$R^2$$\theta$$\alpha = \theta + \theta^2$