Hàm hiệp phương sai hoặc hạt nhân - chính xác chúng là gì?

Tôi còn khá mới đối với lĩnh vực quy trình Gaussian và cách chúng đang được áp dụng trong học máy. Tôi tiếp tục đọc và nghe về các hàm hiệp phương sai là điểm thu hút chính của các phương thức này. Vì vậy, bất cứ ai có thể giải thích một cách trực quan những gì đang xảy ra trong các hàm hiệp phương sai này?

Mặt khác, nếu bạn có thể chỉ ra một hướng dẫn hoặc tài liệu cụ thể giải thích chúng.

Về lỏng lẻo, một hạt nhân hoặc hiệp phương sai chức năng xác định mối quan hệ thống kê giữa hai điểm x , x ' trong không gian đầu vào của bạn; đó là, làm thế nào rõ rệt sự thay đổi trong giá trị của quá trình Gaussian (GP) tại x tương quan với một sự thay đổi trong GP tại x $k(x, x^\prime)$$x, x^\prime$$x$$x^\prime$ . Theo một nghĩa nào đó, bạn có thể nghĩ về khi xác định sự tương đồng giữa các đầu vào (*).$k(\cdot, \cdot)$

Các hạt nhân điển hình có thể chỉ đơn giản phụ thuộc vào khoảng cách Euclide (hoặc biến đổi tuyến tính của chúng) giữa các điểm, nhưng niềm vui bắt đầu khi bạn nhận ra rằng bạn có thể làm được nhiều hơn thế.

Như David Duvenaud đã nói:

Hạt nhân có thể được định nghĩa trên tất cả các loại cấu trúc dữ liệu: Văn bản, hình ảnh, ma trận và thậm chí cả hạt nhân. Đến với một hạt nhân trên một loại dữ liệu mới được sử dụng là một cách dễ dàng để có được một giấy NIPS.

Để có cái nhìn tổng quan về hạt nhân cho GP, tôi nhiệt liệt giới thiệu Kernel Cookbook của anh ấy và các tài liệu tham khảo trong đó.

(*) Như @Dikran Marsupial lưu ý, hãy cẩn thận rằng điều ngược lại là không đúng sự thật; không phải tất cả các số liệu tương tự đều là hạt nhân hợp lệ (xem câu trả lời của anh ấy).

$K(x, x') = \phi(x)\cdot\phi(x')$$\phi(\cdot)$ là một hàm ánh xạ các vectơ đầu vào vào không gian đặc trưng.

Vậy tại sao hạt nhân phải được hiểu là một sản phẩm bên trong trong một số không gian tính năng? Lý do là việc đưa ra các giới hạn lý thuyết về hiệu suất khái quát hóa cho các mô hình tuyến tính (như hồi quy logistic) dễ dàng hơn nhiều so với các mô hình phi tuyến tính (như mạng nơ ron). Hầu hết các mô hình tuyến tính có thể được viết để các vectơ đầu vào chỉ xuất hiện ở dạng sản phẩm bên trong. Điều này có nghĩa là chúng ta có thể xây dựng một mô hình phi tuyến tính bằng cách xây dựng một mô hình tuyến tính trong không gian tính năng kernel. Đây là một chuyển đổi cố định của dữ liệu, vì vậy tất cả các giới hạn hiệu suất lý thuyết cho mô hình tuyến tính sẽ tự động áp dụng cho mô hình phi tuyến tính hạt nhân mới *.

Một điểm quan trọng khó nắm bắt lúc đầu là chúng ta có xu hướng không nghĩ đến một không gian tính năng sẽ tốt cho ứng dụng cụ thể của mình và sau đó thiết kế một hạt nhân làm phát sinh không gian tính năng đó. Nói chung, chúng tôi đưa ra một số liệu tương tự tốt và sau đó xem đó có phải là hạt nhân không (thử nghiệm rất đơn giản, nếu bất kỳ ma trận đánh giá cặp nào của hàm kernel tại các điểm ở vị trí chung là xác định dương, thì đó là hạt nhân hợp lệ) .

$^*$