Gradient Boosting cho hồi quy tuyến tính - tại sao nó không hoạt động?

Trong khi tìm hiểu về Gradient Boosting, tôi chưa nghe về bất kỳ ràng buộc nào liên quan đến các thuộc tính của "trình phân loại yếu" mà phương thức sử dụng để xây dựng và tập hợp mô hình. Tuy nhiên, tôi không thể tưởng tượng một ứng dụng GB sử dụng hồi quy tuyến tính và thực tế khi tôi đã thực hiện một số thử nghiệm - nó không hoạt động. Tôi đã thử nghiệm phương pháp tiêu chuẩn nhất với một dải tổng số dư bình phương và cộng các mô hình tiếp theo lại với nhau.

Vấn đề rõ ràng là phần dư từ mô hình đầu tiên được điền theo cách mà thực sự không có đường hồi quy nào phù hợp nữa. Một quan sát khác của tôi là một tổng các mô hình hồi quy tuyến tính tiếp theo cũng có thể được biểu diễn dưới dạng một mô hình hồi quy đơn (thêm tất cả các hàm và hệ số tương ứng) vì vậy tôi không thể tưởng tượng làm thế nào có thể cải thiện mô hình. Quan sát cuối cùng là hồi quy tuyến tính (cách tiếp cận điển hình nhất) đang sử dụng tổng số dư bình phương làm hàm mất - giống như cách mà GB đang sử dụng.

Tôi cũng đã nghĩ đến việc giảm tốc độ học tập hoặc chỉ sử dụng một tập hợp các yếu tố dự đoán cho mỗi lần lặp, nhưng cuối cùng vẫn có thể được tóm tắt thành một đại diện mô hình duy nhất, vì vậy tôi đoán nó sẽ không cải thiện.

Tôi đang thiếu gì ở đây? Là hồi quy tuyến tính bằng cách nào đó không phù hợp để sử dụng với Gradient Boosting? Có phải vì hồi quy tuyến tính sử dụng tổng số dư bình phương làm hàm mất? Có bất kỳ ràng buộc cụ thể nào đối với các yếu tố dự đoán yếu để chúng có thể được áp dụng cho Gradient Boosting không?

Tôi đang thiếu gì ở đây?

Tôi không nghĩ rằng bạn thực sự thiếu bất cứ điều gì!

Một quan sát khác là tổng các mô hình hồi quy tuyến tính tiếp theo cũng có thể được biểu diễn dưới dạng một mô hình hồi quy đơn (thêm tất cả các hàm và hệ số tương ứng) để tôi không thể tưởng tượng làm thế nào có thể cải thiện mô hình. Quan sát cuối cùng là hồi quy tuyến tính (cách tiếp cận điển hình nhất) đang sử dụng tổng số dư bình phương làm hàm mất - giống như cách mà GB đang sử dụng.

Dường như với tôi rằng bạn đóng đinh nó ngay tại đó, và đưa ra một bản phác thảo ngắn về một bằng chứng cho thấy hồi quy tuyến tính chỉ đánh bại sự hồi quy tuyến tính trong thiết lập này.

Để trở thành phạm vi, cả hai phương pháp đều cố gắng giải quyết vấn đề tối ưu hóa sau

Hồi quy tuyến tính chỉ quan sát rằng bạn có thể giải quyết nó trực tiếp, bằng cách tìm giải pháp cho phương trình tuyến tính

Điều này tự động cung cấp cho bạn giá trị tốt nhất có thể của trong số tất cả các khả năng.$\beta$

Tăng cường, cho dù trình phân loại yếu của bạn là hồi quy một biến hay đa biến, cung cấp cho bạn một chuỗi các vectơ hệ số . Dự đoán mô hình cuối cùng là, khi bạn quan sát, một tổng và có dạng chức năng tương tự như hồi quy tuyến tính đầy đủ$\beta_1, \beta_2, \ldots$

Mỗi bước được chọn để tiếp tục giảm tổng các lỗi bình phương. Nhưng chúng ta có thể tìm thấy tổng sai số tối thiểu có thể có trong dạng hàm này bằng cách thực hiện hồi quy tuyến tính đầy đủ để bắt đầu.

Một biện pháp bảo vệ khả năng thúc đẩy trong tình huống này có thể là sự chính quy ngầm mà nó cung cấp. Rất có thể (tôi chưa chơi với cái này), bạn có thể sử dụng tính năng dừng sớm của bộ tăng cường độ dốc, cùng với xác nhận chéo, để dừng việc hồi quy tuyến tính đầy đủ. Điều này sẽ cung cấp sự chính quy cho hồi quy của bạn và có thể giúp khắc phục tình trạng thừa. Điều này không đặc biệt thiết thực, vì người ta có các tùy chọn rất hiệu quả và được hiểu rõ như hồi quy sườn và lưới đàn hồi trong cài đặt này.

Tăng cường tỏa sáng khi không có hình thức chức năng ngắn gọn xung quanh. Cây quyết định tăng cường cho phép hình thức chức năng của bộ hồi quy / phân loại phát triển chậm để phù hợp với dữ liệu, thường dẫn đến hình dạng phức tạp mà người ta không thể mơ thấy bằng tay và mắt. Khi một hình thức chức năng đơn giản được mong muốn, việc tăng cường sẽ không giúp bạn tìm thấy nó (hoặc ít nhất có lẽ là một cách khá kém hiệu quả để tìm thấy nó).

Ma trận chiếu bình phương nhỏ nhất được cho bởi

$X(X^{T}X)^{-1}X^{T}$

Chúng tôi có thể sử dụng điều này để trực tiếp lấy các giá trị dự đoán của mình , ví dụ:$\hat{y}$

$\hat{y} = X(X^{T}X)^{-1}X^{T}y$

Giả sử bạn phù hợp với hồi quy và sau đó bạn tính số dư của mình

$e = y - \hat{y} = y - X(X^{T}X)^{-1}X^{T}y$

Và sau đó bạn sử dụng vectơ dư e này làm biến phụ thuộc mới của bạn trong hồi quy tiếp theo. Sử dụng lại ma trận chiếu để tính trực tiếp các dự đoán của hồi quy thứ hai này và gọi các dự đoán mới này :$\hat{y}_{2}$

$\hat{y}_{2} = X(X^{T}X)^{-1}X^{T}e \\ \quad = X(X^{T}X)^{-1}X^{T} (y - X(X^{T}X)^{-1}X^{T}y) \\ \quad = X(X^{T}X)^{-1}X^{T}y - X(X^{T}X)^{-1}X^{T}X(X^{T}X)^{-1}X^{T}y \\ \quad = X(X^{T}X)^{-1}X^{T}y - X(X^{T}X)^{-1}X^{T}y \\ \quad = 0$

Một lý do cho điều này là bằng cách xây dựng vectơ dư e từ hồi quy ban đầu là trực giao với X Space, tức là là một phép chiếu trực giao từ y lên không gian X (bạn sẽ tìm thấy những hình ảnh đẹp mắt trong tài liệu này ).$\hat{y}$

Điều này có nghĩa là cách tiếp cận đơn giản của việc điều chỉnh hồi quy và sau đó điều chỉnh hồi quy mới trên phần dư từ hồi quy đầu tiên sẽ không dẫn đến kết quả gì có ý nghĩa vì X hoàn toàn không tương thích với e.

Tôi viết điều này bởi vì bạn nói rằng thực sự không có một dòng mới để phù hợp với các dẫn xuất ở trên.