Phương pháp nhân nào cho đầu ra xác suất tốt nhất?

Gần đây, tôi đã sử dụng quy mô đầu ra SVM của Platt để ước tính xác suất của các sự kiện mặc định. Nhiều lựa chọn thay thế trực tiếp hơn dường như là "Hồi quy logistic hạt nhân" (KLR) và "Máy Vector nhập khẩu" có liên quan.

Bất cứ ai cũng có thể cho biết phương pháp nhân nào đưa ra xác suất đầu ra hiện là trạng thái hiện đại? Có thực hiện R của KLR không?

Cảm ơn bạn rất nhiều vì đã giúp đỡ của bạn!

logistic svm kernel-trick

— RichardN
nguồn

(+1) Một câu hỏi rất thú vị ...

— steffen

Câu trả lời:

Phân loại quy trình Gaussian (sử dụng Tuyên truyền kỳ vọng) có lẽ là công nghệ tiên tiến nhất trong học máy. Có một cuốn sách tuyệt vời của Rasmussen và Williams (có thể tải xuống miễn phí), trang web có triển khai MATLAB rất tốt. Thêm phần mềm, sách, giấy tờ, vv ở đây . Tuy nhiên, trong thực tế, KLR có thể sẽ hoạt động tốt đối với hầu hết các vấn đề, khó khăn chính là trong việc lựa chọn các tham số kernel và chính quy, có thể được thực hiện tốt nhất bằng xác thực chéo, mặc dù xác thực chéo có thể được xấp xỉ rất hiệu quả, xem Cawley và Talbot (2008).

— Sao Hỏa Dikran
nguồn

(+1) Cảm ơn liên kết và lời khuyên về vấn đề lựa chọn mô hình.

— chl

Tôi nên thêm, không sử dụng các triển khai dựa trên phép tính gần đúng Laplace - phần sau bị lệch nhiều và phần gần đúng đối xứng tập trung vào chế độ thường không hoạt động tốt.

— Dikran Marsupial

Cảm ơn bạn Dikran! Bạn có thể giải thích cho tôi về mối quan hệ của việc làm mịn KLR und Kernel không? Mô hình KLR được xây dựng tương tự như mô hình hóa [mất + phạt] của Svm và được giải quyết thông qua việc giảm độ dốc. Nhưng các tài liệu tham khảo cùng thời gian (ví dụ như trong "Hồi quy logistic hạt nhân và máy vectơ nhập khẩu", Zhu và Hastie 2005) về KLR đi đến văn học làm mịn (ví dụ: "Mô hình phụ gia tổng quát", Hastie và Tibshirani 1990).

— RichardN

Tôi không quen thuộc với các tài liệu làm mịn, nhưng các mô hình hạt nhân có liên quan chặt chẽ với làm mịn spline. Tôi nghĩ rằng nơi tốt nhất để tìm sẽ là các ấn phẩm của Grace Wahba ( stat.wisc.edu/~wahba ), công việc kéo dài cả phương pháp làm mịn và nhân.

— Dikran Marsupial

Cảm ơn, tôi sẽ có cái nhìn cận cảnh hơn về các ấn phẩm của wahba. Bạn có thể đề nghị thực hiện KLR, tốt nhất trong R không?

— RichardN

Tôi đoán bạn biết rằng hạt nhân cho hồi quy logistic là một tham số không tham số, vì vậy trước hết bạn có hạn chế đó.

Về gói R, cái tôi biết và hoạt động khá tốt là np : Các phương pháp làm mịn kernel không đối xứng cho các kiểu dữ liệu hỗn hợp

Gói này cung cấp một loạt các phương thức hạt nhân không định lượng (và bán chính xác) xử lý liền mạch một hỗn hợp các kiểu dữ liệu yếu tố liên tục, không có thứ tự và được sắp xếp.

Về trạng thái của kernell nghệ thuật, tôi có thể đề nghị thử nghiệm với những cái được mô tả trong bài viết này từ năm 2009. Đọc nó một cách cẩn thận để chọn một cái tốt nhất và thực tế hơn cho bạn.

— mariana mềm hơn
nguồn

Xin chào Mariana, cảm ơn câu trả lời của bạn, nhưng chúng tôi đã có một sự hiểu lầm: Tôi bằng "phương pháp kernel" có nghĩa là các phương thức vectơ hỗ trợ sử dụng "thủ thuật kernel", không phải phương pháp làm mịn kernel.

— RichardN