Gói phần mềm để giải quyết hồi quy tuyến tính định mức L-infinite

Có gói phần mềm nào để giải quyết hồi quy tuyến tính với mục tiêu giảm thiểu định mức L-infinite.

Câu trả lời ngắn : Vấn đề của bạn có thể được coi là một chương trình tuyến tính (LP), khiến bạn phải chọn trình giải LP yêu thích cho nhiệm vụ. Để xem cách viết bài toán dưới dạng LP, hãy đọc tiếp.

Vấn đề tối thiểu hóa này thường được gọi là xấp xỉ Ch Quashev .

Hãy , với hàng được ký hiệu là và . Sau đó, chúng tôi tìm cách giảm thiểu hàm đối với . Biểu thị giá trị tối ưu theo $\newcommand{\y}{\mathbf{y}}\newcommand{\X}{\mathbf{X}}\newcommand{\x}{\mathbf{x}}\newcommand{\b}{\mathbf{\beta}}\newcommand{\reals}{\mathbb{R}}\newcommand{\ones}{\mathbf{1}_n} \y = (y_i) \in \reals^n$$\X \in \reals^{n \times p}$$i$$\x_i$$\b \in \reals^p$$f(\b) = \|\y - \X \b\|_\infty$$\b$

$$f^\star = f(\b^\star) = \inf \{f(\b): \b \in \reals^p \} \>.$$

Chìa khóa để gọi lại điều này dưới dạng LP là viết lại vấn đề ở dạng biểu đồ . Thật không khó để thuyết phục bản thân rằng, trên thực tế,

$$f^\star = \inf\{t: f(\b) \leq t, \;t \in \reals, \;\b \in \reals^p \} \> .$$

Bây giờ, bằng cách sử dụng định nghĩa của hàm , chúng ta có thể viết lại phía bên phải ở trên dưới dạng và vì vậy chúng tôi thấy rằng việc giảm thiểu định mức trong cài đặt hồi quy tương đương với LP trong đó việc tối ưu hóa được thực hiện trên và biểu thị một vectơ có độ dài . Tôi để nó như một bài tập (dễ) cho người đọc để lấy lại LP ở trên ở dạng chuẩn.$f$

$$f^\star = \inf\{t: -t \leq y_i - \x_i \b \leq t, \;t \in \reals, \;\b \in \reals^p,\; 1 \leq i \leq n \} \>,$$ $\ell_\infty$ $$\begin{array}{ll} \text{minimize} & t \\ \text{subject to} & \y-\X \b \leq t\ones \\ & \y - \X \b \geq - t \ones \>, \\ \end{array}$$ $(\b, t)$$\ones$$n$

Mối quan hệ với phiên bản (tổng biến thể) của hồi quy tuyến tính$\ell_1$

Thật thú vị khi lưu ý rằng một cái gì đó rất giống nhau có thể được thực hiện với định mức . Đặt . Sau đó, các đối số tương tự dẫn đến kết luận rằng do đó LP tương ứng là $\ell_1$$g(\b) = \|\y - \X \b \|_1$

$$\newcommand{\t}{\mathbf{t}} g^\star = \inf\{\t^T \ones : -t_i \leq y_i - \x_i \b \leq t_i, \;\t = (t_i) \in \reals^n, \;\b \in \reals^p,\; 1 \leq i \leq n \} \>,$$ $$\begin{array}{ll} \text{minimize} & \t^T \ones \\ \text{subject to} & \y-\X \b \leq \t \\ & \y - \X \b \geq - \t \>. \\ \end{array}$$

Lưu ý ở đây rằng bây giờ là một vectơ có độ dài thay vì vô hướng, như trong trường hợp .$\t$$n$$\ell_\infty$

Sự giống nhau trong hai vấn đề này và thực tế là cả hai đều có thể được chọn làm LP, tất nhiên, không phải là ngẫu nhiên. Hai chuẩn mực có liên quan ở chỗ chúng là các chuẩn mực kép của nhau.

Malab có thể làm điều đó, sử dụng cvx. để có được cvx (miễn phí):

http://cvxr.com/cvx/doad/

Trong cvx, bạn sẽ viết nó theo cách này:

cvx_begin
   variable x(n);
   minimize( norm(A*x-b,Inf) );
cvx_end

(kiểm tra ví dụ trang 12 của tài liệu hướng dẫn )

Có một triển khai Python của CVX ( ở đây ) nhưng các lệnh hơi khác nhau ...

Câu trả lời của @ cardinal được nêu rõ và đã được chấp nhận, nhưng, vì mục đích đóng hoàn toàn chủ đề này, tôi sẽ đưa ra những điều sau: Thư viện số IMSL chứa một thói quen để thực hiện hồi quy định mức L- infinite . Các thường trình có sẵn trong Fortran, C, Java, C # và Python. Tôi đã sử dụng các phiên bản C và Python mà phương thức gọi là lnorm_regression, cũng hỗ trợ hồi quy L_p chung , .$L_p$$p >= 1$

Lưu ý rằng đây là các thư viện thương mại nhưng các phiên bản Python là miễn phí (như trong bia) cho mục đích phi thương mại.