Hồi quy tuyến tính giảm thiểu MAD trong sklearn

Lớp hồi quy tuyến tính sklearn tiêu chuẩn tìm thấy mối quan hệ tuyến tính gần đúng giữa phương sai và hiệp phương sai để giảm thiểu sai số bình phương trung bình (MSE). Cụ thể, gọi là số lượng quan sát và chúng ta bỏ qua việc đánh chặn cho đơn giản. Đặt là giá trị phương sai của quan sát thứ và là các giá trị của hiệp của quan sát thứ . Mối quan hệ tuyến tính có dạng trong đó các hệ số được đưa ra bởi $N$ $y_j$ $j$ $x_{1,j}, \dots, x_{n,j}$ $n$ $j$

y = β_{1} x_{1} + \dots β_{n} x_{n};

$y = \beta_1 x_1 + \dots \beta_n x_n;$

β_{1}, \dots, β_{n}

$\beta_1, \dots, \beta_n$

β_{1}, \dots, β_{n} = \underset{{\tilde{β}}_{1}, \dots, {\tilde{β}}_{n}}{a r g m i n} (\sum_{j = 1}^{N} {(y_{j} - {\tilde{β}}_{1} x_{1, j} - \dots - {\tilde{β}}_{n} x_{n, j})}^{2}) .

$\beta_1, \dots, \beta_n = \underset{\tilde\beta_1, \dots, \tilde\beta_n}{\mathrm{argmin}} \left( \sum_{j = 1}^N \left( y_j - \tilde\beta_1x_{1, j} - \dots -\tilde\beta_nx_{n, j}\right)^2 \right).$

Bây giờ tôi muốn tìm các hệ số giảm thiểu độ lệch tuyệt đối trung bình (MAD) thay vì sai số bình phương trung bình. Cụ thể, tôi muốn các hệ số được đưa ra bởi

β_{1}, \dots, β_{n} = \underset{{\tilde{β}}_{1}, \dots, {\tilde{β}}_{n}}{a r g m i n} (\sum_{j = 1}^{N} | y_{j} - {\tilde{β}}_{1} x_{1, j} - \dots - {\tilde{β}}_{n} x_{n, j} |) .

$\beta_1, \dots, \beta_n = \underset{\tilde\beta_1, \dots, \tilde\beta_n}{\mathrm{argmin}} \left( \sum_{j = 1}^N \left| y_j - \tilde\beta_1x_{1, j} - \dots -\tilde\beta_nx_{n, j}\right| \right).$

Tôi hiểu rằng, trái ngược hoàn toàn với trường hợp MSE, việc thiếu tính khác biệt của hàm giá trị tuyệt đối ở ngụ ý không có giải pháp phân tích nào cho trường hợp MAD. Nhưng vấn đề thứ hai vẫn là một vấn đề tối ưu hóa lồi, và theo câu trả lời này , nó có thể được giải quyết dễ dàng bằng phương pháp lập trình tuyến tính. $0$

Có thể thực hiện hồi quy tuyến tính này trong sklearn? Còn việc sử dụng các bộ công cụ thống kê khác thì sao?

regression multiple-regression scikit-learn

— Giovanni De Gaetano
nguồn

Tôi chỉ đề cử này để mở lại. Vâng, câu hỏi là về cách thực hiện một nhiệm vụ trong sklearn hoặc Python nói chung. Nhưng nó cần chuyên môn thống kê để hiểu hoặc trả lời , đó là chủ đề rõ ràng .

— Stephan Kolassa

@StephanKolassa Tôi đồng ý với bạn - câu hỏi nên được mở lại ..

— James Phillips

MAD dự kiến được giảm thiểu bởi trung vị phân phối ( Hanley, 2001, The American Statistician ). Do đó, bạn đang tìm kiếm một mô hình sẽ mang lại trung vị có điều kiện , thay vì trung bình có điều kiện .

Đây là một trường hợp đặc biệt của hồi quy lượng tử, đặc biệt cho định lượng 50%. Roger Koenker là bậc thầy chính cho hồi quy lượng tử ; đặc biệt xem cuốn sách cùng tên của mình .

Có nhiều cách để thực hiện hồi quy lượng tử trong Python. Hướng dẫn này có thể hữu ích. Nếu bạn đang mở để sử dụng R, bạn có thể sử dụng quantreggói.

— Stephan Kolass
nguồn

Trong python, nó có sẵn vis statsmodels statsmodels.org/dev/generated/,

— Tim

Cảm ơn! Thật là một cách dễ dàng để xem xét vấn đề thực sự ...

— Giovanni De Gaetano