Hạt nhân là gì và những gì làm cho nó khác biệt với các chức năng khác

13

Dường như có nhiều thuật toán học máy dựa trên các hàm kernel. SVM và NN để đặt tên nhưng hai. Vậy định nghĩa của hàm kernel là gì và các yêu cầu để nó hợp lệ là gì?

svm terminology kernel-trick

— Franck Dernoncourt
nguồn

5

Tôi sẽ không nói rằng các NN dựa vào các hàm kernel - chúng dựa vào một hàm truyền để đạt được tính phi tuyến, nhưng điều này không giống với hàm kernel

— tdc

11

Đối với x, y trên S, một số hàm K (x, y) có thể được biểu diễn dưới dạng một sản phẩm bên trong (thường là trong một không gian khác nhau). K thường được gọi là kernel hoặc hàm kernel. Hạt nhân từ được sử dụng theo nhiều cách khác nhau trong suốt toán học, nhưng đây là cách sử dụng phổ biến nhất trong học máy.

Thủ thuật hạt nhân là một cách ánh xạ các quan sát từ tập S chung vào không gian sản phẩm bên trong V (được trang bị quy tắc tự nhiên của nó), mà không cần phải tính toán ánh xạ một cách rõ ràng, với hy vọng rằng các quan sát sẽ có được cấu trúc tuyến tính có ý nghĩa trong V Điều này rất quan trọng về hiệu quả (tính toán các sản phẩm chấm trong không gian rất cao rất nhanh) và tính thực tế (chúng ta có thể chuyển đổi thuật toán ML tuyến tính sang thuật toán ML phi tuyến tính).

Để hàm K được coi là hạt nhân hợp lệ, nó phải đáp ứng các điều kiện của Mercer . Điều này trong điều kiện thực tế có nghĩa là chúng ta cần đảm bảo ma trận hạt nhân (tính toán sản phẩm hạt nhân của mỗi datapoint bạn có) sẽ luôn luôn bán xác định. Điều này sẽ đảm bảo rằng chức năng mục tiêu đào tạo là lồi, một tài sản rất quan trọng.

— carlosdc
nguồn

Cảm ơn @carlosdc, nhưng tôi sợ rằng bạn đang cố gắng dạy con chó già này, những mánh khóe mới. Rất nhiều trong số đó là cách trên đầu của tôi. Tôi đọc các điều kiện của Mercer, nhưng ý nghĩa của chúng trong thế giới thực bị mất đối với tôi. Tôi giả sử ở trên rằng tích phân của một hạt nhân phải bị ràng buộc với một giá trị hữu hạn. Giả định đó có đúng không?

1

Phần mà mục tiêu là lồi nếu ma trận hạt nhân là PSD phụ thuộc vào mục tiêu. Điều này đúng với các SVM, nhưng với các quy trình Gaussian, điểm chính là ma trận Kernel là ma trận hiệp phương sai hợp lệ và do đó không thể đảo ngược.

— bayerj

2

Từ Williams, Christopher KI và Carl Edward Rasmussen. "Các quy trình Gaussian cho máy học. " MIT Press 2, không. 3 (2006). Trang 80 .

$x \in X$ $x' \in X$ $\mathbb{R}$

Ngoài ra, kernel = hàm kernel.

Các hạt nhân được sử dụng trong các thuật toán học máy thường thỏa mãn nhiều tính chất hơn, chẳng hạn như là bán chính xác dương.

— Franck Dernoncourt
nguồn

2

Đi để cố gắng cho một lời giải thích ít kỹ thuật.

Đầu tiên, bắt đầu với sản phẩm chấm giữa hai vectơ. Điều này cho bạn biết các vectơ "tương tự" như thế nào. Nếu các vectơ biểu thị các điểm trong tập dữ liệu của bạn, sản phẩm chấm cho bạn biết chúng có giống nhau hay không.

Nhưng, trong một số (nhiều) trường hợp, sản phẩm chấm không phải là số liệu tương tự tốt nhất. Ví dụ:

Có thể các điểm có sản phẩm chấm thấp tương tự vì một số lý do khác.
Bạn có thể có các mục dữ liệu không được thể hiện tốt dưới dạng điểm.

Vì vậy, thay vì sử dụng sản phẩm chấm, bạn sử dụng "nhân" chỉ là một hàm lấy hai điểm và cung cấp cho bạn thước đo về độ tương tự của chúng. Tôi không chắc chắn 100% về những điều kiện kỹ thuật mà một chức năng phải đáp ứng về mặt kỹ thuật là một hạt nhân, nhưng đây là ý tưởng.

Một điều rất hay là kernel có thể giúp bạn đưa kiến thức về miền của bạn vào vấn đề theo nghĩa bạn có thể nói hai điểm giống nhau vì lý do xyz xuất hiện từ hình thức bạn biết về tên miền.

— hình tròn
nguồn