Ước tính mô hình hàm mũ

Mô hình hàm mũ là một mô hình được mô tả theo phương trình sau:

$$\hat{y_{i}}=\beta_{0}\cdot e^{\beta_{1}x_{1i}+\ldots+\beta_{k}x_{ki}}$$

Cách tiếp cận phổ biến nhất được sử dụng để ước tính mô hình như vậy là tuyến tính hóa, có thể được thực hiện dễ dàng bằng cách tính toán logarit của cả hai bên. Các phương pháp khác là gì? Tôi đặc biệt quan tâm đến những người có thể xử lý trong một số quan sát.$y_{i}=0$

Cập nhật 31.01.2011
Tôi biết thực tế là mô hình này không thể tạo ra số không. Tôi sẽ giải thích một chút về những gì tôi đang làm người mẫu và tại sao tôi chọn mô hình này. Giả sử chúng tôi muốn dự đoán một khách hàng chi bao nhiêu tiền trong một cửa hàng. Tất nhiên nhiều khách hàng chỉ tìm kiếm và họ không mua bất cứ thứ gì, tại sao lại có 0. Tôi không muốn sử dụng mô hình tuyến tính vì nó tạo ra nhiều giá trị âm, không có ý nghĩa gì. Lý do khác là mô hình này hoạt động thực sự tốt, tốt hơn nhiều so với tuyến tính. Tôi đã sử dụng thuật toán di truyền để ước tính các tham số đó để nó không phải là phương pháp 'khoa học'. Bây giờ tôi muốn biết làm thế nào để giải quyết vấn đề bằng các phương pháp khoa học hơn. Cũng có thể giả định rằng hầu hết, hoặc thậm chí tất cả các biến là biến nhị phân.

Có một số vấn đề ở đây.

(1) Mô hình cần phải có xác suất rõ ràng . Trong hầu hết các trường hợp, sẽ không có tập hợp tham số nào mà lhs khớp với rhs cho tất cả dữ liệu của bạn: sẽ có phần dư. Bạn cần phải đưa ra các giả định về những phần dư. Bạn có mong đợi chúng là trung bình không? Để được phân phối đối xứng? Để được phân phối bình thường?

Dưới đây là hai mô hình đồng ý với một mô hình được chỉ định nhưng cho phép hành vi còn lại khác nhau đáng kể (và do đó thường sẽ dẫn đến các ước tính tham số khác nhau). Bạn có thể thay đổi các mô hình này bằng cách thay đổi các giả định về phân phối chung của :$\epsilon_{i}$

B: y i = β 0 exp ( β 1 x 1 i + ... + β k x k i ) + ϵ tôi

$$\text{A:}\ y_{i} =\beta_{0} \exp{\left(\beta_{1}x_{1i}+\ldots+\beta_{k}x_{ki} + \epsilon_{i}\right)}$$ $$\text{B:}\ y_{i} =\beta_{0} \exp{\left(\beta_{1}x_{1i}+\ldots+\beta_{k}x_{ki}\right)} + \epsilon_{i}.$$

(Lưu ý rằng đây là các mô hình cho dữ liệu ; thường không có giá trị dữ liệu ước tính .)^ y $y_i$$\hat{y_i}$

(2) Nhu cầu xử lý các giá trị 0 cho y ngụ ý mô hình đã nêu (A) vừa sai vừa không đầy đủ , vì nó không thể tạo ra giá trị 0 cho dù sai số ngẫu nhiên bằng bao nhiêu. Mô hình thứ hai ở trên (B) cho phép giá trị 0 (hoặc thậm chí âm) của y. Tuy nhiên, người ta không nên chọn một mô hình chỉ dựa trên cơ sở như vậy. Để nhắc lại # 1: điều quan trọng là phải mô hình hóa các lỗi một cách hợp lý.

(3) Tuyến tính hóa thay đổi mô hình . Thông thường, nó dẫn đến các mô hình như (A) nhưng không thích (B). Nó được sử dụng bởi những người đã phân tích dữ liệu của họ đủ để biết thay đổi này sẽ không ảnh hưởng đáng kể đến các ước tính tham số và bởi những người không biết gì về những gì đang xảy ra. (Thật khó, nhiều lần, để nói sự khác biệt.)

(4) Một cách phổ biến để xử lý khả năng của giá trị 0 là đề xuất rằng (hoặc một số biểu hiện lại của nó, chẳng hạn như căn bậc hai) có cơ hội tích cực hoàn toàn bằng không. Về mặt toán học, chúng tôi đang trộn một khối điểm (một "hàm delta") với một số phân phối khác. Những mô hình này trông như thế này:$y$

$$\eqalign{ f(y_i) &\sim F(\mathbf{\theta}); \cr \theta_j &= \beta_{j0} + \beta_{j1} x_{1i} + \cdots + \beta_{jk} x_{ki} }$$

Trong đó là một trong những tham số ẩn trong vectơ , là một số họ phân phối được tham số hóa bởi và là sự phát triển lại của (hàm "liên kết" của mô hình tuyến tính tổng quát: xem phản hồi của onestop). (Tất nhiên, sau đó, = khi ) Ví dụ là mô hình Poisson không âm và nhị phân âm .$\Pr_{F_\theta}[f(Y) = 0] = \theta_{j+1} \gt 0$$\mathbf{\theta}$$F$$\theta_1, \ldots, \theta_j$$f$$y$$\Pr_{F_\theta}[f(Y) \le t]$$(1 - \theta_{j+1})F_\theta(t)$$t \ne 0$

(5) Các vấn đề xây dựng mô hình và lắp nó có liên quan nhưng khác nhau . Một ví dụ đơn giản, ngay cả một mô hình hồi quy thông thường có thể phù hợp theo nhiều cách bằng các bình phương tối thiểu (đưa ra các ước tính tham số tương tự như Khả năng tối đa và gần như cùng một lỗi tiêu chuẩn), lặp đi lặp lại các ô vuông nhỏ nhất , nhiều dạng khác nhau của " bình phương nhỏ nhất mạnh mẽ " , v.v ... Sự lựa chọn phù hợp thường dựa trên sự tiện lợi, kinh nghiệm ( ví dụ , tính sẵn có của phần mềm), sự quen thuộc, thói quen hoặc quy ước, nhưng ít nhất một số ý nghĩ nên là được cung cấp cho những gì phù hợp với phân phối giả định của các điều khoản lỗi , với những gì$Y = \beta_0 + \beta_1 X + \epsilon$$\epsilon_i$Hàm mất cho vấn đề có thể hợp lý và khả năng khai thác thông tin bổ sung (chẳng hạn như phân phối trước cho các tham số).

Đây là mô hình tuyến tính tổng quát (GLM) với chức năng liên kết nhật ký .

Bất kỳ phân phối xác suất nào trên với mật độ khác không ở 0 sẽ xử lý trong một số quan sát; phổ biến nhất sẽ là phân phối Poisson, dẫn đến hồi quy Poisson , hay còn gọi là mô hình hóa tuyến tính. Một lựa chọn khác sẽ là phân phối nhị thức âm .$[0,\infty)$$y_i=0$

Nếu bạn không có dữ liệu đếm hoặc nếu lấy các giá trị không nguyên, bạn vẫn có thể sử dụng khung của các mô hình tuyến tính tổng quát mà không chỉ định đầy đủ phân phối cho nhưng thay vào đó chỉ xác định mối quan hệ giữa giá trị trung bình và phương sai của nó bằng cách sử dụng gần đúng .$y_i$$\operatorname{P}(y_i|\bf{x})$

Bạn luôn có thể sử dụng bình phương tối thiểu phi tuyến tính . Sau đó, mô hình của bạn sẽ là:

$$y_i=\beta_0\exp(\beta_1x_{1i}+...+\beta_kx_{ki})+\varepsilon_i$$

Các số 0 trong sau đó sẽ được coi là độ lệch so với xu hướng phi tuyến tính.$y_i$