Giải các tham số hồi quy ở dạng đóng và giảm độ dốc

Trong khóa học máy của Andrew Ng , ông giới thiệu hồi quy tuyến tính và hồi quy logistic, và chỉ ra cách điều chỉnh các tham số mô hình bằng cách sử dụng phương pháp giảm độ dốc và phương pháp Newton.

Tôi biết giảm dần độ dốc có thể hữu ích trong một số ứng dụng của học máy (ví dụ: backpropogation), nhưng trong trường hợp tổng quát hơn, có bất kỳ lý do nào khiến bạn không giải quyết được các tham số ở dạng đóng-- nghĩa là bằng cách lấy đạo hàm của hàm chi phí và giải thông qua Giải tích?

Lợi thế của việc sử dụng thuật toán lặp như giảm độ dốc so với giải pháp dạng đóng nói chung, khi có sẵn là gì?

Trừ khi giải pháp dạng đóng cực kỳ tốn kém để tính toán, nó thường là cách để đi khi có sẵn. Tuy nhiên,

1. Đối với hầu hết các vấn đề hồi quy phi tuyến, không có giải pháp dạng đóng.

2. Ngay cả trong hồi quy tuyến tính (một trong số ít trường hợp có sẵn giải pháp dạng đóng), việc sử dụng công thức có thể không thực tế. Ví dụ sau đây cho thấy một cách mà điều này có thể xảy ra.

$y=X\beta$$X$

$\hat{\beta} = \arg \min \| X \beta -y \|_{2}$

được đưa ra bởi

$\hat{\beta}=(X^{T}X)^{-1}X^{T}y$

Bây giờ, hãy tưởng tượng rằng là một ma trận rất lớn nhưng thưa thớt. ví dụ: có thể có 100.000 cột và 1.000.000 hàng, nhưng chỉ 0,001% các mục trong là khác không. Có các cấu trúc dữ liệu chuyên biệt để chỉ lưu trữ các mục khác không của các ma trận thưa thớt như vậy. $X$$X$$X$

Cũng hãy tưởng tượng rằng chúng ta không may mắn và là một ma trận khá dày đặc với tỷ lệ mục nhập khác không cao hơn nhiều. Việc lưu trữ một ma trận dày đặc 100.000 đến 100.000 phần tử sau đó sẽ yêu cầu dấu phẩy động (ở mức 8 byte mỗi số, điều này có thể là 80 gigabyte.) nhưng là một siêu máy tính. Hơn nữa, nghịch đảo của ma trận này (hay phổ biến hơn là một yếu tố Cholesky) cũng có xu hướng có hầu hết các mục khác. $X^{T}X$$X^{T}X$$1 \times 10^{10}$

Tuy nhiên, có phương pháp lặp để giải quyết vấn đề phương nhỏ nhất mà không cần lưu trữ lớn hơn , , và và không bao giờ hình thành một cách rõ ràng sản phẩm ma trận . $X$$y$$\hat{\beta}$$X^{T}X$

Trong tình huống này, sử dụng phương pháp lặp có hiệu quả tính toán cao hơn nhiều so với sử dụng giải pháp dạng đóng cho bài toán bình phương nhỏ nhất.

Ví dụ này có vẻ lớn một cách vô lý. Tuy nhiên, các vấn đề bình phương nhỏ nhất thưa thớt với kích thước này thường được giải quyết bằng các phương pháp lặp trên máy tính để bàn trong nghiên cứu chụp cắt lớp địa chấn.

Đã có một số bài viết về học máy (ML) và hồi quy. ML không cần thiết để giải các bình phương tối thiểu thông thường (OLS), vì nó liên quan đến thao tác kẹp ma trận một bước để giải hệ phương trình tuyến tính - tức là . Thực tế là tất cả mọi thứ là tuyến tính có nghĩa là chỉ cần một hoạt động một bước để giải quyết các hệ số. Hồi quy logistic dựa trên việc tối đa hóa hàm khả năng , có thể giải quyết bằng Newton-Raphson hoặc các phương pháp tăng độ dốc ML khác, siêu dữ liệu (leo đồi, thuật toán di truyền, trí thông minh, tối ưu hóa kiến, v.v.) . $\boldsymbol{\beta}=(\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T\mathbf{y}$$L=\prod_i{p_i}$

Liên quan đến phân tích cú pháp, việc sử dụng ML cho OLS sẽ gây lãng phí vì việc học lặp không hiệu quả để giải OLS.

Bây giờ, trở lại câu hỏi thực sự của bạn về các phương pháp dẫn xuất so với ML để giải quyết các vấn đề dựa trên độ dốc. Cụ thể, đối với hồi quy logistic, phương pháp giảm độ dốc (dựa trên đạo hàm) của Newton-Raphson thường được sử dụng. Newton-Raphson yêu cầu bạn biết hàm mục tiêu và các đạo hàm riêng của nó ghi từng tham số (liên tục trong giới hạn và khác biệt). ML chủ yếu được sử dụng khi hàm mục tiêu quá phức tạp ("narly") và bạn không biết các dẫn xuất. Ví dụ, một mạng nơ ron nhân tạo (ANN) có thể được sử dụng để giải quyết vấn đề gần đúng chức năng hoặc vấn đề phân loại có giám sát khi chức năng không được biết. Trong trường hợp này, ANN là hàm.

Đừng phạm sai lầm khi sử dụng các phương thức ML để giải quyết vấn đề hồi quy logistic, chỉ vì bạn có thể. Đối với logistic, Newton-Raphson cực kỳ nhanh và là kỹ thuật thích hợp để giải quyết vấn đề. ML thường được sử dụng khi bạn không biết chức năng là gì. (nhân tiện, ANN là từ lĩnh vực trí thông minh tính toán, chứ không phải ML).