Các giá trị âm trong dự đoán cho biến phản ứng luôn dương trong hồi quy tuyến tính

Tôi đang cố gắng dự đoán một biến phản hồi trong hồi quy tuyến tính phải luôn dương (giá mỗi nhấp chuột). Đó là một số tiền. Trong adwords, bạn trả tiền cho google khi nhấp vào quảng cáo và số âm sẽ có nghĩa là google trả tiền cho bạn khi mọi người nhấp: P

Các dự đoán là tất cả các giá trị liên tục. Rupquared và RMSE là khá tốt khi so sánh với các mô hình khác, thậm chí là ngoài mẫu:

  RMSE        Rsquared 
1.4141477     0.8207303

Tôi không thể hủy bỏ các dự đoán, bởi vì đó là tiền, vì vậy ngay cả một yếu tố thay đổi kích thước nhỏ cũng có thể thay đổi đáng kể chi phí.

Theo tôi hiểu, đối với mô hình hồi quy không có gì đặc biệt về số 0 và số âm, do đó, nó tìm thấy siêu phẳng hồi quy tốt nhất cho dù đầu ra có âm một phần hay không.

Đây là một nỗ lực đầu tiên, sử dụng tất cả các biến tôi có. Vì vậy, có chỗ để sàng lọc.

Có cách nào để nói với mô hình rằng đầu ra không thể âm?

regression predictive-models

— usillos
nguồn

Bạn có thể đảm bảo dự đoán tích cực bằng cách sử dụng mô hình tuyến tính tổng quát với chức năng liên kết logarit. Nhân tiện, mặc dù giá trị của bạn khá đáng khích lệ, kiểm tra tốt hơn xem liệu mô hình có tuân theo hình dạng chính của dữ liệu hay không là một biểu đồ của phần dư so với dự đoán. Âm mưu quan sát so với dự đoán cũng có thể giúp làm sáng tỏ vấn đề của bạn.

R^{2}

$R^2$

— Nick Cox

@NickCox đã đưa ra một đề nghị. Tôi sẽ vẽ dữ liệu theo nhiều cách hơn là chỉ còn lại so với dự đoán. Tuy nhiên, bạn chắc chắn có thể bán lại các biến số tiền. Một phương pháp phổ biến là lấy log (chi phí) làm biến phụ thuộc. (Tôi nghĩ rằng điều này kết thúc tương đương với chức năng liên kết nhật ký, nhưng có thể dễ hiểu hơn). Nhật ký (chi phí) tất nhiên có thể là âm. Và nhật ký của các biến tiền thường hợp lý bởi vì, ví dụ, sự khác biệt giữa 0,01 và 0,02 mỗi lần nhấp là quan trọng, nhưng sự khác biệt giữa 1,01 và 10,2 mỗi lần nhấp là không.

— Peter Flom

@Peter Flom Tôi nghĩ có nghĩa là 1.02 chứ không phải 10.2.

— Nick Cox

Một ít dữ liệu mẫu sẽ giúp mọi người minh họa các giải pháp tiềm năng.

— Glen_b -Reinstate Monica

Tôi giả sử rằng bạn đang sử dụng công cụ ước tính OLS trên mô hình hồi quy tuyến tính này. Bạn có thể sử dụng công cụ ước lượng bình phương ràng buộc nhỏ nhất bất đẳng thức , đây sẽ là giải pháp cho vấn đề tối thiểu hóa dưới các ràng buộc bất đẳng thức. Sử dụng ký hiệu ma trận chuẩn (vectơ là vectơ cột), bài toán tối thiểu hóa được nêu là

min_{β} (y - X β)^{'} (y - X β) s . t . - Z β \leq 0

$\min_{\beta} (\mathbf y-\mathbf X\beta)'(\mathbf y-\mathbf X\beta) \\s.t.-\mathbf Z\beta \le \mathbf 0$

... trong đó là , là , là và là ma trận chứa chuỗi hồi quy ngoài mẫu của chiều dài được sử dụng để dự đoán. Chúng ta có các ràng buộc bất đẳng thức tuyến tính (và hàm mục tiêu là lồi, vì vậy các điều kiện thứ tự đầu tiên là đủ cho mức tối thiểu). $\mathbf y$ $n \times 1$ $\mathbf X$ $n\times k$ $\beta$ $k\times 1$ $\mathbf Z$ $m \times k$ $m$ $m$

Lagrangean của vấn đề này là

L = (y - X β)^{'} (y - X β) - λ^{'} Z β = y^{'} y - y^{'} X β - β^{'} X^{'} y + β^{'} X^{'} X β - λ^{'} Z β

$L = (\mathbf y-\mathbf X\beta)'(\mathbf y-\mathbf X\beta) -\lambda'\mathbf Z\beta = \mathbf y'\mathbf y-\mathbf y'\mathbf X\beta - \beta'\mathbf X'\mathbf y+ \beta'\mathbf X'\mathbf X\beta-\lambda'\mathbf Z\beta$

= y^{'} y - 2 β^{'} X^{'} y + β^{'} X^{'} X β - λ^{'} Z β

$= \mathbf y'\mathbf y - 2\beta'\mathbf X'\mathbf y+ \beta'\mathbf X'\mathbf X\beta-\lambda'\mathbf Z\beta$

Trong đó là một vectơ cột của hệ số nhân Karush -Kuhn -Tucker không âm. Các điều kiện đặt hàng đầu tiên là (bạn có thể muốn xem lại các quy tắc để phân biệt ma trận và vectơ) $\lambda$ $m \times 1$

\frac{\partial L}{\partial β} = 0 \Rightarrow - 2 X^{'} y + 2 X^{'} X β - Z^{'} λ

$\frac {\partial L}{\partial \beta}= \mathbb 0\Rightarrow - 2\mathbf X'\mathbf y +2\mathbf X'\mathbf X\beta - \mathbf Z'\lambda$

\Rightarrow {\hat{β}}_{R} = {(X^{'} X)}^{- 1} X^{'} y + \frac{1}{2} {(X^{'} X)}^{- 1} Z^{'} λ = {\hat{β}}_{O L S} + {(X^{'} X)}^{- 1} Z^{'} ξ [1]

$\Rightarrow \hat \beta_R = \left(\mathbf X'\mathbf X\right)^{-1}\mathbf X'\mathbf y + \frac 12\left(\mathbf X'\mathbf X\right)^{-1}\mathbf Z'\lambda = \hat \beta_{OLS}+ \left(\mathbf X'\mathbf X\right)^{-1}\mathbf Z'\xi \qquad [1]$

... trong đó , để thuận tiện và là công cụ ước tính chúng ta sẽ có được từ ước tính bình phương nhỏ nhất thông thường. $\xi = \frac 12 \lambda$ $\hat \beta_{OLS}$

Phương pháp này được xây dựng đầy đủ trong Liew (1976) .

— Alecos Papadopoulos
nguồn

Tôi đã ủng hộ điều này bởi vì đó là một giải pháp hợp pháp, nhưng nó có rủi ro trong thực tế. Xét cho cùng, giải pháp rất nhạy cảm với các giá trị của : một giá trị đòn bẩy cao duy nhất sẽ điều khiển các ước tính ở xa mức phù hợp chỉ để thực thi ràng buộc. Do đó, ở mức tối thiểu, quy trình này phải đi kèm với kiểm tra mức độ phù hợp cẩn thận với dữ liệu.

Z

$\mathbf Z$

— whuber

@whuber Bạn nói đúng. Vì vậy, OP, bước cẩn thận ở đây.

— Alecos Papadopoulos