Gaussian RBF so với hạt nhân Gaussian

Sự khác biệt giữa thực hiện hồi quy tuyến tính với Hàm cơ sở xuyên tâm Gaussian (RBF) và thực hiện hồi quy tuyến tính với hạt nhân Gaussian là gì?

regression normal-distribution kernel-trick

— người dùng35965
nguồn

Chào mừng đến với trang web, @ user35965. Hãy đánh vần các từ viết tắt của bạn. Theo "RBF", ý bạn là hàm cơ sở xuyên tâm ?

— gung - Phục hồi Monica

Vâng, đó là ý nghĩa của tôi. Ghi chú hợp lệ để tham khảo trong tương lai.

— dùng35965

Sự khác biệt thực sự duy nhất là trong chính quy được áp dụng. Mạng RBF thông thường thường sử dụng hình phạt dựa trên định mức bình phương của các trọng số. Đối với phiên bản kernel, hình phạt thường dựa trên chỉ tiêu bình phương về trọng số của mô hình tuyến tính được xây dựng ngầm trong không gian tính năng do kernel tạo ra. Sự khác biệt thực tế quan trọng mà điều này tạo ra là hình phạt cho mạng RBF phụ thuộc vào các trung tâm của mạng RBF (và do đó dựa trên mẫu dữ liệu được sử dụng) trong khi đối với nhân RBF, không gian tính năng cảm ứng là như nhau bất kể mẫu của dữ liệu, vì vậy hình phạt là một hình phạt đối với chức năng của mô hình, chứ không phải là tham số hóa của nó .

Nói cách khác, đối với cả hai mô hình, chúng tôi có

$f(\vec{x}') = \sum_{i=1}^\ell \alpha_i \mathcal{K}(\vec{x}_i, \vec{x}')$

Đối với cách tiếp cận mạng RBF, tiêu chí đào tạo là

$L = \sum_{i=1}^\ell (y_i - f(\vec{x}_i))^2 + \lambda \|\alpha\|^2$

Đối với phương thức nhân RBF, chúng ta có và . Điều này có nghĩa là một hình phạt định mức bình phương trên các trọng số của mô hình trong không gian tính năng cảm ứng, có thể được viết theo các tham số kép, như $\mathcal{K}(\vec{x},\vec{x}') = \phi(\vec{x})\cdot\phi(\vec{x}')$ $\vec{w} = \sum_{i=1}^\ell \alpha_i\phi(\vec{x}_i)$ $\vec{w}$ $\vec{\alpha}$

$\|\vec{w}\|^2 = \vec{\alpha}^T\matrix{K}\vec{\alpha},$

trong đó là kết hợp của các đánh giá cặp khôn ngoan của hạt nhân cho tất cả các mẫu đào tạo. Tiêu chí đào tạo là $\matrix{K}$

$L = \sum_{i=1}^\ell (y_i - f(\vec{x}_i))^2 + \lambda \vec{\alpha}^T\matrix{K}\vec{\alpha}$ .

Sự khác biệt duy nhất giữa hai mô hình là trong thuật ngữ chính quy. $\matrix{K}$

Ưu điểm lý thuyết chính của phương pháp nhân là nó cho phép bạn diễn giải một mô hình phi tuyến tính như một mô hình tuyến tính theo một phép biến đổi phi tuyến tính cố định không phụ thuộc vào mẫu dữ liệu. Do đó, bất kỳ lý thuyết học thống kê nào tồn tại cho các mô hình tuyến tính sẽ tự động chuyển sang phiên bản phi tuyến tính. Tuy nhiên, tất cả điều này bị phá vỡ ngay khi bạn thử và điều chỉnh các tham số kernel, tại thời điểm đó chúng ta quay lại gần như cùng một điểm về mặt lý thuyết như chúng ta đã làm với các mạng thần kinh RBF (và MLP). Vì vậy, lợi thế về mặt lý thuyết có lẽ không lớn như chúng ta mong muốn.

Có khả năng tạo ra bất kỳ sự khác biệt thực sự về hiệu suất? Có lẽ không nhiều. Các định lý "không ăn trưa miễn phí" cho thấy rằng không có ưu thế vượt trội của bất kỳ thuật toán nào so với tất cả các thuật toán khác, và sự khác biệt trong chính quy là khá tinh tế, vì vậy, nếu nghi ngờ, hãy thử cả hai và chọn phương án tốt nhất theo ví dụ xác thực chéo.

— Sao Hỏa Dikran
nguồn

@CagdasOzgenc Có, đối với RBF, trình thường xuyên là chứ không phải là cho máy kernel. Họ sẽ trở thành tương tự hơn là chiều rộng của hàm cơ sở cách tiếp cận không như sẽ tiếp cận . Tôi nghĩ rằng điều này về cơ bản là vì là sự tương quan giữa các hàm cơ bản.

‖ \vec{α} ‖^{2} = {\vec{α}}^{T} \begin{matrix} I \end{matrix} \vec{α}

$\|\vec{\alpha}\|^2 = \vec{\alpha}^T\matrix{I}\vec{\alpha}$

{\vec{α}}^{T} \begin{matrix} K \end{matrix} \vec{α}

$\vec{\alpha}^T\matrix{K}\vec{\alpha}$

K

$K$

I

$I$

K

$K$

— Dikran Marsupial

@CagdasOzgenc Cách tôi nhìn nhận là trong bộ chỉnh lưu có trọng số khác nhau cho mỗi vectơ cơ sở và hình phạt phụ thuộc vào việc lựa chọn các vectơ cơ sở khác. Trọng lượng này phụ thuộc vào mối tương quan của chúng, vì vậy nếu bạn chọn một mẫu khác, trọng lượng thay đổi để bù lại. Một cách khác để xem xét đó là mô hình được xác định trong một không gian đặc trưng được xác định bởi , không phụ thuộc vào sự lựa chọn các vectơ cơ sở (cung cấp chúng trải rộng không gian chứa dữ liệu).

K

$K$

ϕ (x)

$\phi(x)$

— Dikran Marsupial

@CagdasOzgenc Chắc chắn chúng ta có thể biến đổi không gian của các hàm cơ bản bằng cách phân tách riêng của và lấy lại một trình định tuyến theo kiểu (thực sự đó là một mẹo hữu ích trong việc tối ưu hóa tham số chính quy - doi.org/10.1016/j.neunet.2007.05.005 ). Tuy nhiên, phép biến đổi đó loại bỏ sự phụ thuộc của lựa chọn ban đầu của hàm cơ sở. Để hai thứ bằng nhau sẽ yêu cầu , điều này thường không đúng (đặc biệt là không phải với hạt nhân RBF).

K

$K$

‖ {\vec{α}}^{'} ‖^{2}

$\|\vec{\alpha}'\|^2$

{\vec{α}}^{T} \begin{matrix} K \end{matrix} \vec{α} = μ {\vec{α}}^{T} \begin{matrix} I \end{matrix} \vec{α}

$\vec{\alpha}^T\matrix{K}\vec{\alpha} = \mu\vec{\alpha}^T\matrix{I}\vec{\alpha}$

— Dikran Marsupial

Cảm ơn bạn. Tôi sẽ phản ánh về điều này sẽ lấy lại cho bạn. Hiện tại có vẻ như tôi không ở mức độ hiểu biết của bạn. Tôi cần phải suy nghĩ nhiều hơn :).

— Cagdas Ozgenc

@CagdasOzgenc không có vấn đề gì, hầu hết các văn bản tiêu chuẩn giải thích nó thông qua các hàm riêng của hàm kernel, khiến não tôi cũng bị tổn thương! ; o)

— Dikran Marsupial