Sử dụng tham số Gamma với các máy vectơ hỗ trợ

9

Khi sử dụng libsvm, tham số là tham số cho hàm kernel. Giá trị mặc định của nó là thiết lập như $\gamma$

γ = \frac{1}{number of features.}

$\gamma = \frac{1}{\text{number of features.}}$

Có hướng dẫn lý thuyết nào để thiết lập tham số này bên cạnh các phương thức hiện có, ví dụ: tìm kiếm lưới không?

— người dùng3269
nguồn

8

Tôi sẽ đề nghị hướng dẫn lý thuyết sau đây. Khi bạn đang sử dụng hạt nhân Gaussian RBF, bề mặt phân tách của bạn sẽ dựa trên sự kết hợp của các bề mặt hình chuông ở giữa tại mỗi vectơ hỗ trợ. Chiều rộng của mỗi bề mặt chuông hình sẽ tỉ lệ nghịch với . Nếu chiều rộng này nhỏ hơn khoảng cách cặp tối thiểu cho dữ liệu của bạn, về cơ bản bạn có quá nhiều. Nếu chiều rộng này lớn hơn khoảng cách cặp đôi tối đa cho dữ liệu của bạn, tất cả các điểm của bạn rơi vào một lớp và bạn cũng không có hiệu suất tốt. Vì vậy, chiều rộng tối ưu nên ở đâu đó giữa hai thái cực này. $\gamma$

— Sư Tử
nguồn

pair-wise distance for your data= khoảng cách Euclide đơn giản sau khi nhân rộng?

— ihadanny

5

Không, nó chủ yếu phụ thuộc vào dữ liệu. Tìm kiếm lưới (siêu tham số được chuyển đổi nhật ký) là một phương pháp rất tốt nếu bạn chỉ có một số lượng nhỏ các tham số siêu điều chỉnh, nhưng không làm cho độ phân giải lưới quá tốt hoặc bạn có thể điều chỉnh quá mức điều chỉnh tiêu chuẩn. Đối với các vấn đề với số lượng tham số kernel lớn hơn, tôi thấy phương pháp đơn giản Nelder-Mead hoạt động tốt.

— Sao Hỏa Dikran
nguồn

Dikran, cảm ơn vì câu trả lời. Bạn có thể nói rõ hơn về "phụ thuộc dữ liệu" không? Mối quan hệ giữa r và một tập hợp dữ liệu là gì? Hay nói cách khác, được cung cấp một tập hợp dữ liệu, có cách nào để xác định r dựa trên những dữ liệu này không?

— user3269

1

Về cơ bản, "phụ thuộc dữ liệu" chỉ có nghĩa là các cài đặt tốt nhất sẽ thay đổi tùy theo cấu trúc cụ thể của dữ liệu và thường không có cách nào tốt hơn để đặt chúng ngoài việc giảm thiểu lỗi xác thực chéo. Các phương thức kernel thực sự có thể thực hiện với phân tích lý thuyết nhiều hơn về cách học về kernel, nhưng thật không may, điều này rất khó về mặt toán học.

— Dikran Marsupial