Làm cách nào để sử dụng Cohen's Kappa làm chỉ số đánh giá trong GridSearchCV trong Scikit Learn?

9

Tôi có sự mất cân bằng lớp học trong tỷ lệ 1:15 tức là tỷ lệ sự kiện rất thấp. Vì vậy, để chọn điều chỉnh các tham số của GBM trong scikit, tôi muốn sử dụng Kappa thay vì điểm F1. Hiểu biết của tôi là Kappa là một số liệu tốt hơn so với điểm F1 cho sự mất cân bằng trong lớp.

Nhưng tôi không thể tìm thấy kappa như một đánh giá_metric trong scikit tìm hiểu ở đây sklearn.metrics .

Câu hỏi

Có cách giải quyết nào cho việc bao gồm kappa trong gridsearchcv không?
Có bất kỳ số liệu nào tốt hơn tôi có thể sử dụng thay vì kappa trong scikit learn không?

— GeorgeOfTheRF
nguồn

1

Fork sklearn và thêm hỗ trợ cho mình; nó không khó lắm đâu

— Emre

K. Bạn đang nói sửa đổi tệp nguồn sklearn Tôi nghĩ rằng tệp griddearchcv.py? Bất kỳ hướng sẽ được tuyệt vời.

— GeorgeOfTheRF

Nhìn vào định nghĩa của sklearn.metrics.f1_score

— Emre

12

Kappa của Cohen được giới thiệu trong scikit-learn 0.17.

Bạn có thể gói nó trong make_scorer để sử dụng trong GridSearchCV.

from sklearn.metrics import cohen_kappa_score, make_scorer
from sklearn.grid_search import GridSearchCV
from sklearn.svm import LinearSVC

kappa_scorer = make_scorer(cohen_kappa_score)
grid = GridSearchCV(LinearSVC(), param_grid={'C': [1, 10]}, scoring=kappa_scorer)

— Tulio Casagrande
nguồn

Cảm ơn. Make_scorer () làm gì?

— GeorgeOfTheRF

make_scorer()chuyển đổi các số liệu thành các cuộc gọi có thể được sử dụng để đánh giá mô hình. Đối scoringsố mong đợi một chức năng scorer(estimator, X, y). Vì vậy, nó sẽ thất bại, nếu bạn cố gắng vượt qua scoring=cohen_kappa_scoretrực tiếp, vì chữ ký là khác nhau , cohen_kappa_score(y1, y2, labels=None). Các make_scorercũng chấp nhận lập luận bổ sung, như labelstừ cohen_kappa_score.

— Tulio Casagrande

2

Ngoài liên kết trong câu trả lời hiện có, còn có phòng thí nghiệm Scikit-Learn, nơi các phương pháp và thuật toán đang được thử nghiệm.

Trong trường hợp bạn ổn với việc làm việc với mã cạnh chảy máu, thư viện này sẽ là một tài liệu tham khảo tốt.

Kappa của Cohen là cũng là một trong các chỉ số trong thư viện , trong đó có trong true labels, predicted labels, weightsvà allowing one off?như các thông số đầu vào. Rõ ràng, số liệu sẽ dao động từ [-1, 1].

Bạn cũng có thể xem mã triển khai , trong trường hợp bạn muốn đóng góp.

Lưu ý: Kappa của Cohen cũng được triển khai trong Scikit-Learn .

Có, có những lựa chọn thay thế cho số liệu Cohen Kappa.

— Dawny33
nguồn