So sánh mô hình MLR với mô hình ?

Nếu tôi có lý do lý thuyết để cho rằng dữ liệu có thể phù hợp với một phương trình bất thường như sau:

Tôi có thể sử dụng Bình phương tối thiểu bình phương nhiều hồi quy tuyến tính sau khi chuyển đổi để ước tính các tham số không? Nếu có, biến đổi gì?$\beta{_0,_1,_2,_3}$

Nếu không, có một số gói chuyên biệt trong R (và đọc ngắn gọn) có thể giúp tôi so sánh sự phù hợp và dư từ mô hình này với mô hình MLR điển hình hơn không?

Cảm ơn.

Mã ví dụ:

## while I can run "nls," I cannot get $\epsilon$ inside parentheses nor
## can I have four BETAs

var1 <- rnorm(50, 100, 1)
var2 <- rnorm(50, 120, 2)
var3 <- rnorm(50, 500, 5)

## make a model without $\beta_1$ and $\beta_2$ and with $\epsilon_i$ on outside
nls(var3 ~ (a + var1 + var2)^b, start = list(a = 0.12345, b = 0.54321))

Nonlinear regression model
  model: var3 ~ (a + var1 + var2)^b
  data: parent.frame()
   a        b 
 475.5234   0.9497 
 residual sum-of-squares: 1365

Number of iterations to convergence: 6 
Achieved convergence tolerance: 8.332e-08

## FAILS with exponent on left-hand side and $\epsilon$ inside parentheses
nls(var3^(1/b) ~ (a + var1 + var2), start = list(a = 0.12345, b = 0.54321))
Error in eval(expr, envir, enclos) : object 'b' not found

## FAILS with all BETAs
nls(var3 ~ (a + b*var1 + c*var2)^d, start = list(a = 4, b = 1, c = 1, d = 1))
Error in numericDeriv(form[[3L]], names(ind), env) : 
Missing value or an infinity produced when evaluating the model

Không (ít nhất là không với nls)

Từ tài liệu của nó, nlsphù hợp với các chức năng của mẫu (và là MLE trong trường hợp là iid Bình thường), vì vậy mối quan hệ của bạn không thuộc lớp bình phương tối thiểu phi tuyến tính.$Y_i| \theta, X_i = f(\theta, X_i) + \epsilon$$\epsilon$

Hãy xem liệu chúng ta có thể mô tả phân phối có thể làm theo không. Đặt Cho rằng là , sau đó . Ví dụ: nếu , chúng ta có thể có không phải là trung tâm .$Y$$Z_i = \beta_0+\beta_1 x_{1i} + \beta_2 x_{2i} + \epsilon_i$$\epsilon_i$$N(0, 1)$$Z_i \sim N(\beta_0+\beta_1 x_{1i} + \beta_2 x_{2i}, 1)$$\beta_3 = 2$$Y_i$$\chi^2_1$

Có (sử dụng các phép biến đổi Box-cox)

Nếu là một phép biến đổi một thành một (nghĩa là ở mức tối thiểu, không phải là số chẵn) thì bạn vừa khám phá lại nhóm biến đổi box-cox: bao gồm rõ ràng kịch bản bạn mô tả. Về mặt kinh điển, được ước tính thông qua khả năng hồ sơ, nghĩa là, cắm các giá trị khác nhau của và kiểm tra RSS để phù hợp với bình phương nhỏ nhất. Một phân tích về các biến đổi được xem xét lại (1981) dường như đưa ra một đánh giá tốt về lý thuyết. Các chức năng trong gói làm một ước tính như vậy. Nếu$Y_i = Z_{i}^{\beta_3}$$\beta_3$

Tôi nghĩ Andrew M đã đưa ra một câu trả lời tốt; Tôi chỉ muốn làm cho một vài điểm liên quan.

Như Andrew M chỉ ra rằng bạn không thể thực hiện mô hình như trực tiếp với bình phương tối thiểu phi tuyến; tuy nhiên, bạn có thể phù hợp với mô hình liên quan chặt chẽ này với LS phi tuyến:

$Y_i = (\beta_0 + \beta_1x_{1i} + \beta_2x_{2i})^{\beta_3} + \epsilon_i$

Điều này có vẻ không được sử dụng nhiều, nhưng sẽ có giá trị khi có được ước tính ban đầu là để có điểm khởi đầu tốt để tối ưu hóa mô hình thực tế (dù được thực hiện trực tiếp hoặc thông qua Box-Cox).$\beta_3$

Cũng lưu ý rằng nếu hoàn toàn tích cực, bạn có thể xem xét chuyển đổi này:$Y$

$\log(Y_i) = \beta_3 \log(\beta_0 + \beta_1x_{1i} + \beta_2x_{2i} + \epsilon_i)$

Một lần nữa, một sửa đổi nhỏ (kéo cụm từ lỗi bên ngoài dấu ngoặc đơn) cho phép khớp bình phương nhỏ nhất phi tuyến. Sau đó, bạn có thể xem lại bằng cách sử dụng ước tính kết quả của để cải thiện các ước tính. Khó khăn duy nhất sẽ là nếu bạn gặp phải tình huống trong đó giá trị được trang bị trong nhật ký không thực sự tích cực.$\beta_3$

[Nếu bạn chuẩn bị xem xét hồi quy Weibull (nghĩa là trong đó Weibull là Yibull có nghĩa là phụ thuộc vào X), bạn có thể thấy rằng bạn có thể làm điều gì đó hữu ích với điều đó. Tuy nhiên, nó sẽ thay đổi hình thức của mối quan hệ với x. Một cách tiếp cận có liên quan sẽ được đưa ra một giá trị cho bạn có thể xem xét chuyển đổi ( ) và phù hợp với GLM theo cấp số nhân với liên kết nhận dạng với thay vì Gaussian. Điều này một lần nữa sẽ tương ứng với một mô hình Weibull cho , nhưng với các tham số nhập theo cách bạn đề xuất). Điều này có thể được thực hiện qua một lưới các giá trị để tối đa hóa khả năng cho nó.]$\beta_3$$Y$$Y^*=Y^{1/\beta_3}$$Y^*$$Y$$\beta_3$