Máy học cực đoan: tất cả là gì?

Tôi đã suy nghĩ, thực hiện và sử dụng mô hình Extreme Learning Machine (ELM) trong hơn một năm nay và càng làm lâu, tôi càng nghi ngờ rằng đó thực sự là một điều tốt. Tuy nhiên, ý kiến ​​của tôi dường như trái ngược với cộng đồng khoa học nơi - khi sử dụng trích dẫn và các ấn phẩm mới làm thước đo - nó dường như là một chủ đề nóng.

ELM đã được giới thiệu bởi Huang et. al. khoảng năm 2003. Ý tưởng cơ bản khá đơn giản: bắt đầu với mạng nơ ron nhân tạo 2 lớp và gán ngẫu nhiên các hệ số trong lớp đầu tiên. Điều này, một biến đổi vấn đề tối ưu hóa phi tuyến tính thường được xử lý thông qua backpropagation thành một vấn đề hồi quy tuyến tính đơn giản. Chi tiết hơn, với , mô hình là$\mathbf x \in \mathbb R^D$

Bây giờ, chỉ có được điều chỉnh (để giảm thiểu mất bình phương lỗi-lỗi), trong khi các đều được chọn ngẫu nhiên. Để bù đắp cho sự mất mát về mức độ tự do, đề xuất thông thường là sử dụng một số lượng lớn các nút ẩn (ví dụ: tham số miễn phí ).v i k w $w_i$$v_{ik}$$w_i$

Từ một góc độ (không phải là người thường phát huy trong các tài liệu, mà xuất phát từ phía mạng thần kinh), toàn bộ thủ tục là chỉ đơn giản là hồi quy tuyến tính, nhưng một trong những nơi bạn chọn chức năng cơ sở của bạn ngẫu nhiên, ví dụ$\phi$

(Nhiều lựa chọn khác bên cạnh sigmoid có thể cho các hàm ngẫu nhiên. Chẳng hạn, nguyên tắc tương tự cũng đã được áp dụng bằng các hàm cơ sở xuyên tâm.)

Từ quan điểm này, toàn bộ phương pháp trở nên quá đơn giản và đây cũng là điểm khiến tôi bắt đầu nghi ngờ rằng phương pháp này thực sự là một phương pháp tốt (... trong khi tiếp thị khoa học của nó chắc chắn là). Vì vậy, đây là những câu hỏi của tôi:

• Ý tưởng để raster không gian đầu vào bằng cách sử dụng các hàm cơ sở ngẫu nhiên, theo tôi, tốt cho kích thước thấp. Trong các chiều cao, tôi nghĩ rằng không thể tìm thấy một lựa chọn tốt bằng cách sử dụng lựa chọn ngẫu nhiên với số lượng cơ sở hợp lý. Do đó, ELM có suy giảm kích thước cao (do lời nguyền của chiều không)?

• Bạn có biết kết quả thí nghiệm ủng hộ / mâu thuẫn với ý kiến ​​này không? Trong bài báo được liên kết chỉ có một bộ dữ liệu hồi quy 27 chiều (PYRIM) trong đó phương thức thực hiện tương tự như SVM (trong khi tôi muốn xem so sánh với ANN backpropagation)

• Tổng quát hơn, tôi muốn ở đây nhận xét của bạn về phương pháp ELM.

Trực giác của bạn về việc sử dụng ELM cho các vấn đề chiều cao là chính xác, tôi có một số kết quả về điều này, mà tôi đang chuẩn bị xuất bản. Đối với nhiều vấn đề thực tế, dữ liệu không phải là phi tuyến tính và ELM hoạt động khá tốt, nhưng sẽ luôn có các bộ dữ liệu trong đó lời nguyền về chiều có nghĩa là cơ hội tìm thấy một hàm cơ sở tốt với độ cong ngay khi bạn cần nó trở nên nhỏ, thậm chí với nhiều vectơ cơ sở.

Cá nhân tôi sẽ sử dụng một cái gì đó giống như một máy vectơ hỗ trợ bình phương nhỏ nhất (hoặc mạng chức năng cơ sở xuyên tâm) và thử và chọn các vectơ cơ sở từ những người trong tập huấn theo cách tham lam (ví dụ như bài viết của tôi , nhưng có khác / tốt hơn các cách tiếp cận đã được xuất bản cùng thời gian, ví dụ như trong cuốn sách rất hay của Scholkopf và Smola về "Học với hạt nhân"). Tôi nghĩ rằng tốt hơn là tính toán một giải pháp gần đúng cho vấn đề chính xác, thay vì một giải pháp chính xác cho một vấn đề gần đúng và các máy hạt nhân có nền tảng lý thuyết tốt hơn (đối với một hạt nhân cố định; o).

ELM "học" từ dữ liệu bằng cách phân tích giải quyết các trọng số đầu ra. Do đó, dữ liệu được đưa vào mạng càng lớn sẽ tạo ra kết quả tốt hơn. Tuy nhiên, điều này cũng đòi hỏi số lượng nút ẩn nhiều hơn. Nếu ELM được đào tạo với ít hoặc không có lỗi, khi được cung cấp một bộ đầu vào mới, nó không thể tạo ra đầu ra chính xác.

Ưu điểm chính của ELM so với mạng lưới thần kinh truyền thống như vậy là sự lan truyền ngược là thời gian đào tạo nhanh. Hầu hết thời gian tính toán được dành cho việc giải quyết trọng lượng lớp đầu ra như được đề cập trong bài báo Huang.