Hồi quy tuyến tính đa biến so với mạng nơ ron?

Dường như có thể nhận được kết quả tương tự với mạng thần kinh với hồi quy tuyến tính đa biến trong một số trường hợp và hồi quy tuyến tính đa biến là siêu nhanh và dễ dàng.

Trong trường hợp nào các mạng thần kinh có thể cho kết quả tốt hơn so với hồi quy tuyến tính đa biến?

regression multiple-regression neural-networks

— Hugh Perkins
nguồn

Câu trả lời:

Các mạng nơ-ron có thể tự động mô hình hóa các phi tuyến (xem định lý gần đúng phổ quát ), mà bạn sẽ cần mô hình hóa rõ ràng bằng cách sử dụng các phép biến đổi (spline, v.v.) trong hồi quy tuyến tính.

Thông báo trước: sự cám dỗ của quá mức có thể (thậm chí) mạnh hơn trong các mạng lưới thần kinh so với hồi quy, vì việc thêm các lớp ẩn hoặc tế bào thần kinh trông có vẻ vô hại. Vì vậy, hãy cẩn thận hơn để xem hiệu suất dự đoán ngoài mẫu.

— S. Kolassa - Tái lập Monica
nguồn

Đồng ý. Tôi đoán một câu hỏi trong đầu là, tôi có thể sao chép hành vi tương tự ở mức độ nào bằng cách tăng dữ liệu đầu vào của mình với các thuật ngữ bậc hai và bậc ba?

— Hugh Perkins

Trên thực tế, bạn có thể ước chừng các NN với các biến hồi quy được chuyển đổi phù hợp theo hồi quy tuyến tính gần như bạn muốn (và ngược lại). Tuy nhiên, thực hành tốt hơn so với tứ giác và hình khối là các biểu tượng - tôi thực sự khuyên bạn nên đọc sách giáo khoa "Chiến lược mô hình hồi quy" của Mitchell.

— S. Kolassa - Tái lập Monica

Đồng ý. Có hợp lý không khi cho rằng thời gian đào tạo sẽ nhanh hơn cho hồi quy tuyến tính trên dữ liệu được chuyển đổi, hoặc thời gian đào tạo sẽ xấp xỉ nhau? Liệu giải pháp cho hồi quy tuyến tính trên dữ liệu được chuyển đổi có một mức tối đa toàn cầu duy nhất, hoặc nó sẽ có rất nhiều mức tối thiểu cục bộ như đối với các mạng thần kinh? (Chỉnh sửa: Tôi đoán cho dù các đầu vào được biến đổi như thế nào, giải pháp cho hồi quy tuyến tính chỉ là giả của ma trận thiết kế nhân với một cái gì đó - do đó luôn luôn là duy nhất hoặc duy nhất?)

— Hugh Perkins

Thời gian đào tạo tất nhiên sẽ phụ thuộc vào kích thước đầu vào (vài / nhiều quan sát, vài / nhiều dự đoán). Hồi quy tuyến tính liên quan đến một nghịch đảo (giả) duy nhất (vâng, tính duy nhất / tính đơn lẻ ngay cả với các hồi quy biến đổi giữ), trong khi NN thường được đào tạo theo cách lặp, nhưng lặp lại không liên quan đến nghịch đảo ma trận, vì vậy mỗi lần lặp lại nhanh hơn - bạn thường dừng việc đào tạo dựa trên một số tiêu chí được thiết kế để ngăn bạn vượt quá mức.

— S. Kolassa - Tái lập lại

@Yamcha: sự hiểu biết của tôi về định lý gần đúng phổ quát là tính nguyên tắc trong nguyên tắc không quan trọng. (Tất nhiên, đây là một kết quả không có triệu chứng. Tôi hy vọng rằng bạn cần lượng dữ liệu khủng khiếp để NN tốt hơn so với hồi quy đa thức được điều chỉnh tốt. Bắt đầu nghe giống như Deep Learning ...)

— S. Kolassa - Tái lập Monica

Bạn đề cập đến hồi quy tuyến tính. Điều này có liên quan đến hồi quy logistic , có thuật toán tối ưu hóa nhanh tương tự. Nếu bạn có giới hạn về các giá trị đích, chẳng hạn như với một vấn đề phân loại, bạn có thể xem hồi quy logistic như một khái quát của hồi quy tuyến tính.

Mạng nơ-ron hoàn toàn tổng quát hơn hồi quy logistic trên các đầu vào ban đầu, vì nó tương ứng với mạng bỏ qua (với các kết nối trực tiếp kết nối đầu vào với đầu ra) với nút ẩn. $0$

Khi bạn thêm các tính năng như , điều này tương tự với việc chọn trọng số cho một vài nút ẩn trong một lớp ẩn duy nhất. Không có sự tương ứng chính xác , vì để mô hình hóa một chức năng như với sigmoids có thể mất nhiều hơn một nơron ẩn. Khi bạn huấn luyện một mạng lưới thần kinh, bạn cho phép nó tìm các trọng số ẩn đầu vào ẩn của chính nó, có khả năng tốt hơn. Nó cũng có thể mất nhiều thời gian hơn và nó có thể không nhất quán. Bạn có thể bắt đầu với một xấp xỉ với hồi quy logistic với các tính năng bổ sung và huấn luyện các trọng số từ đầu vào đến ẩn và điều này sẽ làm tốt hơn so với hồi quy logistic với các tính năng bổ sung cuối cùng. Tùy thuộc vào vấn đề, thời gian đào tạo có thể không đáng kể hoặc bị cấm. $x^3$ $1-1$ $x^3$

Một chiến lược trung gian là chọn một số lượng lớn các nút ngẫu nhiên, tương tự như những gì xảy ra khi bạn khởi tạo một mạng thần kinh và sửa các trọng số đầu vào thành ẩn. Việc tối ưu hóa các trọng số * -to-output vẫn tuyến tính. Đây được gọi là một máy học cực đoan . Nó hoạt động ít nhất cũng như hồi quy logistic ban đầu.

— Douglas Zare
nguồn

"Một chiến lược trung gian là chọn một số lượng lớn các nút ngẫu nhiên, tương tự như những gì xảy ra khi bạn khởi tạo một mạng thần kinh và sửa các trọng số đầu vào thành ẩn. Việc tối ưu hóa các trọng số * đến đầu ra vẫn tuyến tính." => bạn có nghĩa là sẽ có một mức tối đa toàn cầu duy nhất cho giải pháp trong trường hợp này?

— Hugh Perkins

Đối với một sự lựa chọn ngẫu nhiên chung của các nút ẩn ngẫu nhiên, có.

— Douglas Zare

bối cảnh cung cấp bài đăng tuyệt vời cho [LR, LogR, NN, ELM]. Nhận xét của bạn về LogR là một NN bỏ qua có vẻ rõ ràng sau khi được chỉ ra nhưng là một cái nhìn sâu sắc tốt đẹp.

— javadba

Hồi quy tuyến tính nhằm mục đích phân tách dữ liệu có thể phân tách tuyến tính, vâng, bạn có thể sử dụng các đa thức bậc ba> độ bổ sung nhưng theo cách đó bạn đã chỉ ra lại một số giả định về dữ liệu bạn có do bạn xác định cấu trúc của hàm mục tiêu. Trong mạng lưới thần kinh. nói chung, bạn có lớp đầu vào tạo các dấu phân cách tuyến tính cho dữ liệu bạn có và lớp ẩn VÀ các vùng giới hạn một số lớp và lớp cuối cùng OR tất cả các vùng này. Theo cách đó, tất cả các dữ liệu bạn có có thể được phân loại theo cách phi tuyến tính, tất cả các quá trình này đều diễn ra với các trọng số đã học bên trong và các hàm được xác định. Ngoài ra, việc tăng số lượng tính năng cho Hồi quy tuyến tính trái ngược với "Lời nguyền về chiều". Ngoài ra, một số ứng dụng cần nhiều kết quả xác suất hơn số lượng không đổi làm đầu ra.

— erogol
nguồn