Hạt nhân SVM rbf - phương pháp heuristic để ước tính gamma

8

Tôi đã đọc trên trao đổi này một phương pháp heuristic để ước tính gamma cho hạt nhân rbf trong SVM. Tôi đã tự hỏi nếu ai đó có thể có thể giải thích nó cho tôi chi tiết hơn một chút? Tôi tin rằng bạn chọn 1000 (hoặc một số lượng lớn) các cặp điểm dữ liệu từ bộ dữ liệu sau đó tính toán định mức cho sự khác biệt của mỗi cặp. Rõ ràng, nghịch đảo của các lượng tử .1, .9 và trung vị là những ứng cử viên tốt cho một gamma phù hợp cho hạt nhân rbf.

Cảm ơn

machine-learning cross-validation svm

— tomas
nguồn

Xem thêm câu trả lời này cho một câu hỏi trùng lặp

— denis

8

Trước hết, không có lý do - ngoại trừ chi phí tính toán - không sử dụng toàn bộ dữ liệu của bạn. Miễn là bạn không sử dụng thông tin nhãn, không có lý do gì để không sử dụng tất cả thông tin bạn có thể nhận được từ dữ liệu của mình.

Tại sao các lượng tử của khoảng cách là một heuristic tốt? Giải pháp cho vấn đề SVM là sự kết hợp tuyến tính của các hạt nhân RBF nằm trên các vectơ hỗ trợ . Trong giai đoạn tìm hiểu, tối ưu hóa sẽ điều chỉnh để tối đa hóa lề trong khi vẫn giữ nguyên phân loại chính xác. $\sum_i y_i \alpha_i \exp(-\gamma ||x - x_i||^2)$ $\alpha_i$

Bây giờ, có hai trường hợp cực đoan cho sự lựa chọn : $\gamma$

Hãy tưởng tượng rất nhỏ, điều đó có nghĩa là hạt nhân RBF rất rộng. Chúng ta hãy giả sử rằng nó rộng đến mức hạt nhân RBF vẫn đủ tích cực cho mọi điểm dữ liệu của bộ dữ liệu. Điều này có thể cung cấp cho trình tối ưu hóa một công việc khó khăn vì việc thay đổi giá trị của một sẽ thay đổi chức năng quyết định trên tất cả các điểm dữ liệu vì hạt nhân quá rộng. $\gamma$ $\alpha_i$
Một tình huống cực đoan khác là khi lớn, điều đó có nghĩa là hạt nhân RBF rất hẹp. Khi thay đổi cho điểm dữ liệu đó, chức năng quyết định của SVM về cơ bản sẽ chỉ thay đổi đối với điểm dữ liệu đó. Điều này có nghĩa là có lẽ tất cả các vectơ đào tạo sẽ kết thúc như các vectơ hỗ trợ. Điều này rõ ràng là không mong muốn. $\gamma$ $\alpha_i$

Để thấy rằng heuristic là một lựa chọn tốt, người ta phải nhận ra rằng một giá trị nhất định của xác định một ranh giới cho hạt nhân RBF trong đó hạt nhân sẽ lớn hơn một giá trị nhất định (như giá trị một- -quantile cho Bình thường phân phối). Bằng cách chọn theo lượng tử trên khoảng cách theo cặp, bạn chắc chắn rằng một tỷ lệ phần trăm nhất định của các điểm dữ liệu nằm trong ranh giới đó. Do đó, nếu bạn thay đổi cho một datapoint, thực tế bạn sẽ chỉ ảnh hưởng đến chức năng quyết định cho một tỷ lệ phần trăm của các datapoint đó là những gì bạn muốn. Nên chọn tỷ lệ phần trăm như thế nào tùy thuộc vào vấn đề học tập, nhưng bạn tránh thay đổi chức năng quyết định cho tất cả hoặc $\gamma$ $\sigma$ $\gamma$ $\alpha_i$ chỉ có một datapoint.

— fabee
nguồn

Cảm ơn fabee mà rất nhiều ý nghĩa. Tôi tò mò vì chi phí tính toán khi thực hiện xác thực chéo + tìm kiếm lưới với tập dữ liệu của tôi. Tôi cũng đang xử lý chuỗi thời gian, do đó, thực hiện xác thực chéo loại cửa sổ thay vì k-gấp. Nếu bạn có một số đề xuất tăng tốc chắc chắn mở cho những người. Hoặc bất kỳ đề xuất nào về việc xử lý dữ liệu chuỗi thời gian phụ thuộc (tự động tương quan). Cảm ơn.

— tomas

Xin lỗi, tôi không có đề nghị tốt ra khỏi đầu của tôi. Vấn đề là dữ liệu không còn iid nữa. Một cách đơn giản là loại bỏ các autocorrelations nó để đào tạo một mô hình tự phát và trừ dự đoán từ các datapoint. Đây là bản chất làm trắng.

— fabee

1

Vâng! Bạn đang mô tả cái gọi là "lừa trung bình".

Tôi thực sự thích trực giác đằng sau câu trả lời ở trên. Tôi cũng nghĩ dễ hiểu vấn đề chọn bằng cách nghĩ nó là nghịch đảo của phương sai của RBF, à la để RBF trở thành $\gamma$

γ = \frac{1}{2 σ^{2}}

$\begin{equation} \gamma = \frac{1}{2 \sigma^2} \end{equation}$

ϕ (x) = e^{\frac{‖ x - x_{i} ‖^{2}}{2 σ^{2}}}

$\begin{equation} \phi(x) = e^{\frac{\|x-x_i\|^2}{2 \sigma^2}} \end{equation}$

Bây giờ rõ ràng rằng vấn đề tìm kiếm một tốt về cơ bản giống như tìm kiếm một phương sai tốt cho hàm Gaussian (trừ một hệ số tỷ lệ). $\gamma$

Để làm điều này, chúng tôi chuyển sang các công cụ ước tính phương sai, nhưng thay vì tính toán phương sai thông qua khoảng cách bình phương trung bình từ một số như , chúng tôi tính toán các lượng tử trên khoảng cách bình phương đó. $x_i$ $\mathbb{E}[(x-x_i)^2]$

Như áp phích trên đã nói, sử dụng các lượng tử cho phép chúng ta kiểm soát có bao nhiêu điểm dữ liệu nằm trong một (hoặc hai hoặc ba ..) độ lệch chuẩn của hàm Gaussian của chúng ta.

— dswah
nguồn