Làm thế nào để thiết kế và thực hiện hàm mất đối xứng cho hồi quy?

Vấn đề

Trong hồi quy, người ta thường tính sai số bình phương trung bình (MSE) cho một mẫu:

MSE = \frac{1}{n} \sum_{i = 1}^{n} {(g (x_{i}) - \hat{g} (x_{i}))}^{2}

$\text{MSE} = \frac{1}{n} \sum_{i=1}^n\left(g(x_i) - \widehat{g}(x_i)\right)^2$ để đo lường chất lượng của một yếu tố dự báo.

Ngay bây giờ tôi đang làm việc với một vấn đề hồi quy trong đó mục tiêu là dự đoán giá mà khách hàng sẵn sàng trả cho một sản phẩm được cung cấp một số tính năng số. Nếu giá dự đoán quá cao sẽ không có khách hàng mua sản phẩm, nhưng tổn thất tiền tệ thấp vì giá có thể đơn giản là giảm. Tất nhiên nó không nên quá cao vì sau đó sản phẩm có thể không được mua trong một thời gian dài. Mặt khác, nếu giá dự đoán quá thấp, sản phẩm sẽ được mua nhanh chóng mà không có cơ hội điều chỉnh giá.

Nói cách khác, thuật toán học tập nên dự đoán giá cao hơn một chút có thể giảm nếu cần thiết thay vì đánh giá thấp giá thực sẽ dẫn đến tổn thất tiền tệ ngay lập tức.

Câu hỏi

Làm thế nào bạn sẽ thiết kế một số liệu lỗi kết hợp sự bất cân xứng chi phí này?

Giải pháp có thể

Một cách để xác định hàm mất bất đối xứng sẽ chỉ đơn giản là nhân với trọng số: vớilà tham số chúng ta có thể điều chỉnh để thay đổi mức độ không đối xứng. Tôi đã tìm thấy nóở đây

\frac{1}{n} \sum_{i = 1}^{n} | α - 1_{(g (x_{i}) - \hat{g} (x_{i})) < 0} | \cdot {(g (x_{i}) - \hat{g} (x_{i}))}^{2}

$\frac{1}{n} \sum_{i=1}^n \left| \alpha - \mathbb{1}_{(g(x_i) - \widehat{g}(x_i)) < 0} \right|\cdot \left(g(x_i) - \widehat{g}(x_i)\right)^2$

α \in (0, 1)

$\alpha \in (0,1)$ . Điều này có vẻ như là điều thẳng thắn nhất để làm, trong khi duy trì tổn thất bậc hai.

regression error loss-functions

— Kiudee
nguồn

@MichaelCécick, FTR, tôi nghĩ rằng đây là một câu hỏi hay, đã được nêu rõ ràng và mạch lạc, và thừa nhận rằng tôi hơi kén chọn. Những gì tôi nhận được là (như bạn biết) phù hợp với hồi quy (nghĩa là giải quyết ) được thực hiện (theo mặc định) bằng cách giảm thiểu hàm mất OLS , SSE. Bạn có quyền rằng MSE có thể được sử dụng tương đương b / c chia cho một hằng số sẽ không ảnh hưởng đến thứ tự của betas ứng cử viên.

β

$\boldsymbol{\beta}$

— gung - Phục hồi Monica

Một thực tế khác là MSE (thường xuyên hơn RMSE) thường được sử dụng để đánh giá chất lượng của một mô hình được trang bị (mặc dù, một lần nữa, SSE có thể được sử dụng tương đương). Vấn đề là, câu hỏi này dường như (với tôi dù thế nào) là về cách suy nghĩ / thiết kế lại chức năng mất , để các betas được trang bị khác với mặc định, thay vì cách nghĩ khác về chất lượng của một mô hình đã phù hợp.

— gung - Tái lập Monica

@Kiudee, nếu cách giải thích Q của bạn là đúng, bạn sẽ nghĩ gì về việc chỉnh sửa nó để thêm thẻ chức năng mất , và có thể sửa đổi tiêu đề thành một cái gì đó như: "Cách thiết kế và thực hiện chức năng mất bất đối xứng để hồi quy"? Tôi sẽ không tự chỉnh sửa trong trường hợp bạn không đồng ý với chúng.

— gung - Phục hồi Monica

Để tham khảo, tôi đã thấy hồi quy lượng tử được đề xuất khi bạn muốn các hàm mất bất đối xứng, xem Berk, 2011 , PDF tại đây .

— Andy W

Vì tôi đang sử dụng nhiều thuật toán học tập để giải quyết vấn đề này, nên hàm này phải được phân biệt ít nhất một lần.

— Kiudee

Như đã đề cập trong các ý kiến trên, hồi quy lượng tử sử dụng hàm mất không đối xứng (tuyến tính nhưng có độ dốc khác nhau cho các lỗi dương và âm). Tương tự bậc hai (mất bình phương) của hồi quy lượng tử là hồi quy kỳ vọng.

Bạn có thể google hồi quy định lượng cho các tài liệu tham khảo. Để biết hồi quy mong đợi, xem gói R và tệp tham chiếu trong tài liệu tham khảo.

— Innuo
nguồn

Loại trọng số không đồng đều này thường được thực hiện trong các bài toán phân loại với hai lớp. Quy tắc Bayes có thể được sửa đổi bằng cách sử dụng hàm mất mát có trọng số tổn thất cao hơn cho một lỗi so với lỗi khác. Điều này sẽ dẫn đến một quy tắc tạo ra tỷ lệ lỗi không đồng đều.

Trong hồi quy, chắc chắn có thể xây dựng một hàm trọng số như tổng bình phương có trọng số sẽ tạo ra một số trọng số cho các lỗi âm và trọng số cao hơn cho các số dương. Điều này sẽ tương tự như bình phương tối thiểu có trọng số nhưng hơi khác một chút vì bình phương tối thiểu có trọng số được dành cho các vấn đề trong đó phương sai lỗi không phải là không đổi trong không gian của các giá trị có thể cho các biến dự đoán. Trong trường hợp đó, các trọng số cao hơn đối với các điểm mà phương sai lỗi được biết là nhỏ và cao hơn trong đó phương sai lỗi được biết là lớn. Điều này tất nhiên sẽ dẫn đến các giá trị cho các tham số hồi quy khác với những gì OLS sẽ cung cấp cho bạn.

— Michael R. Chernick
nguồn