Tại sao chúng ta không thể sử dụng để biến đổi các biến phụ thuộc?

Hãy tưởng tượng chúng ta có một mô hình hồi quy tuyến tính với biến phụ thuộc . Chúng tôi tìm thấy của nó . Bây giờ, chúng tôi thực hiện một hồi quy khác, nhưng lần này là trên và tương tự tìm . Tôi được cho biết rằng tôi không thể so sánh cả để xem mô hình nào phù hợp hơn. Tại sao vậy? Lý do được đưa ra cho tôi là chúng tôi sẽ so sánh sự thay đổi của các đại lượng khác nhau (các biến phụ thuộc khác nhau). Tôi không chắc đây có phải là một lý do đầy đủ cho việc này không.R 2 y log ( y ) R 2 log ( y ) R $y$$R^2_y$$\log(y)$$R^2_{\log(y)}$$R^2$

Ngoài ra có cách nào để chính thức hóa điều này?

Bất kỳ trợ giúp sẽ được đánh giá cao.

Đó là một câu hỏi hay, bởi vì "số lượng khác nhau" dường như không phải là một lời giải thích.

Có hai lý do quan trọng để cảnh giác khi sử dụng để so sánh các mô hình này: nó quá thô sơ (nó không thực sự đánh giá mức độ phù hợp ) và nó sẽ không phù hợp với ít nhất một trong các mô hình. Câu trả lời này giải quyết vấn đề thứ hai.$R^2$

---

Điều trị lý thuyết

R 2$R^2$ so sánh phương sai của phần dư mô hình với phương sai của các phản ứng. Phương sai là một độ lệch phụ gia bình phương trung bình từ một sự phù hợp. Như vậy, chúng ta có thể hiểu khi so sánh hai mô hình của phản hồi . $R^2$$y$

Mô hình "cơ sở" là

$$y_i = \mu + \delta_i\tag{1}$$

trong đó là một tham số (đáp ứng trung bình theo lý thuyết) và là các "lỗi" ngẫu nhiên độc lập, mỗi lỗi có giá trị trung bình bằng 0 và phương sai chung của .delta i τ $\mu$$\delta_i$$\tau^2$

Mô hình hồi quy tuyến tính giới thiệu các vectơ dưới dạng các biến giải thích:$x_i$

$$y_i = \beta_0 + x_i \beta + \varepsilon_i.\tag{2}$$

Số và vectơ là các tham số (phần chặn và "độ dốc"). Các lại những sai sót ngẫu nhiên độc lập, mỗi zero trung bình và phổ biến sai . β ε i σ $\beta_0$$\beta$$\varepsilon_i$$\sigma^2$

τ 2 - σ 2 τ $R^2$ ước tính mức giảm phương sai, , so với phương sai ban đầu .$\tau^2-\sigma^2$$\tau^2$

Khi bạn lấy logarit và sử dụng bình phương tối thiểu để phù hợp với mô hình , bạn hoàn toàn đang so sánh mối quan hệ của biểu mẫu

$$\log(y_i) = \nu + \zeta_i\tag{1a}$$

đến một trong các hình thức

$$\log(y_i) = \gamma_0 + x_i\gamma + \eta_i.\tag{2a}$$

Đây giống như các mô hình và nhưng có phản hồi nhật ký. Chúng không tương đương với hai mô hình đầu tiên, mặc dù. Chẳng hạn, lũy thừa cả hai mặt của sẽ cho$(1)$$(2)$$(2\text{a})$

$$y_i = \exp(\log(y_i)) = \exp(\gamma_0 + x_i\gamma)\exp(\eta_i).$$

Các thuật ngữ lỗi hiện nhân lên mối quan hệ cơ bản . Do đó, phương sai của các câu trả lời là$\exp(\eta_i)$$y_i = \exp(\gamma_0 + x_i\gamma)$

$$\operatorname{Var}(y_i) = \exp(\gamma_0 + x_i\gamma)^2\operatorname{Var}(e^{\eta_i}).$$

Phương sai phụ thuộc vào . $x_i$ Đó không phải là mô hình , giả sử các phương sai đều bằng một hằng số .$(2)$$\sigma^2$

Thông thường, chỉ một trong những bộ mô hình này có thể là một mô tả hợp lý của dữ liệu. Áp dụng bộ thứ hai và khi bộ thứ nhất và là một mô hình tốt hoặc thứ nhất khi thứ hai tốt, sẽ hoạt động với một tập dữ liệu phi tuyến, không đồng nhất, do đó phải phù hợp kém với hồi quy tuyến tính. Khi một trong những tình huống này là trường hợp, chúng ta có thể mong đợi mô hình tốt hơn để trưng bày lớn hơn . Tuy nhiên, những gì về nếu không phải là trường hợp? Chúng ta vẫn có thể mong đợi lớn hơn để giúp chúng ta xác định mô hình tốt hơn chứ?$(1\text{a})$$(2\text{a})$$(1)$$(2)$$R^2$$R^2$

Phân tích

Trong một số trường hợp, đây không phải là một câu hỏi hay, bởi vì nếu không có mô hình nào phù hợp, chúng ta phải tìm một mô hình thứ ba. Tuy nhiên, vấn đề trước mắt chúng tôi liên quan đến tiện ích của trong việc giúp chúng tôi đưa ra quyết định này. Hơn nữa, nhiều người nghĩ đầu tiên về hình dạng của mối quan hệ giữa và nó là tuyến tính, là logarit, là một cái gì đó khác - mà không quan tâm đến các đặc điểm của lỗi hồi quy hoặc . Do đó, chúng ta hãy xem xét một tình huống trong đó mô hình của chúng ta có được mối quan hệ đúng nhưng sai về cấu trúc lỗi của nó hoặc ngược lại .$R^2$$x$$y$$\varepsilon_i$$\eta_i$

Một mô hình như vậy (thường xảy ra) là một hình vuông nhỏ nhất phù hợp với mối quan hệ theo cấp số nhân,

$$y_i = \exp\left(\alpha_0 + x_i\alpha\right) + \theta_i.\tag{3}$$

Bây giờ logarit của là hàm tuyến tính của , như trong , nhưng các thuật ngữ lỗi là phụ gia , như trong . Trong những trường hợp như vậy, có thể khiến chúng ta hiểu lầm về việc chọn mô hình có mối quan hệ sai giữa và .$y$$x$$(2\text{a})$$\theta_i$$(2)$$R^2$$x$$y$

Dưới đây là một minh họa của mô hình . Có quan sát cho (1 vectơ phân bố đều giữa và ). Bảng bên trái hiển thị dữ liệu gốc trong khi bảng bên phải hiển thị dữ liệu được chuyển đổi . Các đường màu đỏ nét đứt biểu thị mối quan hệ cơ bản thực sự, trong khi các đường màu xanh đặc hiển thị các hình vuông nhỏ nhất phù hợp. Dữ liệu và mối quan hệ thực sự giống nhau trong cả hai bảng: chỉ có các mô hình và sự phù hợp của chúng khác nhau.$(3)$$300$$x_i$$1.0$$1.6$$(x,y)$$(x,\log(y))$

Sự phù hợp với các phản hồi nhật ký ở bên phải rõ ràng là tốt: nó gần như trùng khớp với mối quan hệ thực sự và cả hai đều là tuyến tính. Sự phù hợp với các phản ứng ban đầu ở bên trái rõ ràng là tồi tệ hơn: đó là tuyến tính trong khi mối quan hệ thực sự là theo cấp số nhân. Thật không may, nó có giá trị lớn hơn đáng kể là : so với . Đó là lý do tại sao chúng ta không nên tin tưởng để dẫn chúng ta đến mô hình tốt hơn. Đó là lý do tại sao chúng ta không nên hài lòng với sự phù hợp ngay cả khi "cao" (và trong nhiều ứng dụng, giá trị sẽ thực sự được coi là cao). 0,70 0,56 R 2 R 2$R^2$$0.70$$0.56$$R^2$$R^2$$0.70$

---

Ngẫu nhiên, một cách tốt hơn để đánh giá các mô hình này bao gồm độ tốt của các thử nghiệm phù hợp (sẽ chỉ ra tính ưu việt của mô hình nhật ký ở bên phải) và các sơ đồ chẩn đoán cho sự ổn định của phần dư (sẽ làm nổi bật các vấn đề với cả hai mô hình). Những đánh giá như vậy tự nhiên sẽ dẫn người ta đến một mức phù hợp bình phương nhỏ nhất của hoặc trực tiếp đến mô hình , điều này sẽ phải phù hợp bằng cách sử dụng phương pháp bình phương tối thiểu hoặc phương pháp bình phương nhỏ nhất phi tuyến.( 3 $\log(y)$$(3)$