Những lợi thế của phương pháp học đa nhân (MKL) là gì?


8

Nhiều phương thức học hạt nhân nhằm xây dựng một mô hình hạt nhân trong đó hạt nhân là sự kết hợp tuyến tính của các hạt nhân cơ sở cố định. Học kernel sau đó bao gồm học các hệ số trọng số cho từng kernel cơ sở, thay vì tối ưu hóa các tham số kernel của kernel đơn.

Nhược điểm của việc học nhiều nhân dường như là chúng ít có thể hiểu và tốn kém về mặt tính toán (để đánh giá đầu ra mô hình mà bạn cần để đánh giá tất cả các hạt nhân cơ sở). Vì vậy, nếu hiệu suất tương tự có thể đạt được bằng cách đơn giản hóa tối ưu một hạt nhân, thì lợi thế của MKL là gì?


"Tối ưu hóa các tham số của một hạt nhân" nghĩa là gì? chúng ta tham số hóa ma trận gram của k (x, y)? hoặc của tính năng ánh xạ Phi (x)? Có một cách có hệ thống để làm điều này? Hoặc là như thế, chạy xác nhận chéo trên một loạt các hạt nhân sau đó chọn cái tốt nhất?
Glem of Rivia

@GiendofRivia Tôi chỉ có nghĩa là điều chỉnh các tham số siêu của hàm nhân cơ bản (ví dụ: tham số tỷ lệ của hạt nhân RBF). Một hạt nhân RBF đáng ngạc nhiên là khó đánh bại về hiệu suất tổng quát hóa và một hạt nhân có trọng số (có thể bao gồm RBF) dường như khá khó hiểu, ít nhất là đối với tôi.
Dikran Marsupial

Câu trả lời:


14

Có hai ưu điểm (hay đúng hơn là hai trường hợp sử dụng):

  1. Đối với mọi ứng dụng của SVM, người dùng phải chọn hạt nhân nào sẽ sử dụng và đôi khi phải thiết kế ma trận hạt nhân của riêng họ. Có thể giảm bớt việc chọn hạt nhân hoặc thiết kế hạt nhân chuyên dụng? MKL là một bước tiến tới đó.

  2. Trường hợp thứ hai IMHO là một trường hợp hấp dẫn hơn. Xem xét rằng dữ liệu đầu vào của bạn là dữ liệu video + cc. Đại diện tính năng của mỗi video bao gồm các tính năng video, tính năng âm thanh và tính năng văn bản. Dữ liệu này được gọi là dữ liệu đa phương thức. Mỗi bộ tính năng này có thể yêu cầu một khái niệm tương tự khác nhau (một hạt nhân khác nhau). Thay vì xây dựng một kernel chuyên dụng cho các ứng dụng như vậy, có thể chỉ định nghĩa kernel cho từng chế độ này và kết hợp tuyến tính với chúng không?


1
+1 Tuy nhiên tôi không tin rằng [1] sử dụng MKL dễ dàng hơn so với việc chỉ có sự kết hợp tuyến tính của các hạt nhân và chọn các yếu tố trọng số thông qua việc xác thực chéo. Nó cũng làm tăng khả năng phù hợp quá mức vì hiện có nhiều tham số để ước tính. Như bạn nói, [2] hấp dẫn hơn nhiều.
Dikran Marsupial

2
Các bạn sẽ quan tâm đến bài báo này của McFee và Lanckriet trong JMLR 2011 - jmlr.csail.mit.edu/ con / v12 / mcfee11a.html
TenaliRaman
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.