Tại sao thước đo F được ưa thích cho các nhiệm vụ phân loại?


8

Tại sao thước đo F thường được sử dụng cho các nhiệm vụ phân loại (được giám sát), trong khi chỉ số G-đo (hoặc chỉ số FowlkesTHER Mallows) thường được sử dụng cho các nhiệm vụ phân cụm (không giám sát)?

Thước đo F là giá trị trung bình hài hòa của độ chính xácthu hồi .

Thước đo G (hay chỉ số Fowlkes trộm Mallows) là giá trị trung bình hình học của độ chính xácthu hồi .

Dưới đây là một âm mưu của các phương tiện khác nhau.

nhập mô tả hình ảnh ở đây

=2precisionrecallprecision+recall

=precisionrecall

=precision+recall2

Lý do tôi hỏi là tôi cần quyết định sử dụng mức trung bình nào trong nhiệm vụ NLG, trong đó tôi đo BLEUROUGE (trong đó BLEU tương đương với độ chính xác và ROUGE để gọi lại). Làm thế nào tôi nên tính trung bình của các điểm số này?


Có lẽ đó là cách mà sự đào tẩu đi!
Aditya

1
@Aditya, bạn nói đúng, đó chỉ là một câu hỏi được định dạng sai về định nghĩa. Tôi chỉnh sửa nó cải cách thành một cái gì đó cụ thể hơn.
Bruno Lubascher

Câu trả lời:


3

Điểm số FI được ưu tiên cho độ chính xác phân loại đơn giản để chống lại vấn đề bộ dữ liệu mất cân bằng; Nếu điều bạn đang tìm kiếm chỉ xảy ra hiếm khi thì dù sao thì một bộ phân loại ngây thơ luôn có thể nói không và dường như đang hoạt động rất tốt! Một biến thể trên Fı là Fß, trong đó

Fß = (1 + ß²) × ​​[(P × R) ÷ ((ß² × P) + R)]

Thay đổi ß để cân bằng độ chính xác và thu hồi. Về lý do tại sao F hoặc G, tôi tin rằng đó là kinh nghiệm - bạn không nói nếu bạn đang phân loại hoặc phân cụm trong ứng dụng của riêng bạn?


1
Cảm ơn câu trả lời, nhưng tôi nghĩ bạn nhớ đã hiểu câu hỏi của tôi. Tôi không có ý so sánh F1 với độ chính xác đơn giản. , thay vào đó, tôi muốn so sánh các phương tiện Hài hòa với Hình học và Số học . Tôi không thực hiện phân loại hoặc phân cụm truyền thống, tôi có một nhiệm vụ NLG , được đo bằng BLEUROUGE có thể được tính trung bình với một trong các phương tiện, nhưng tôi không chắc nên chọn.
Bruno Lubascher

-1

Nếu Chính xác và Thu hồi là tương tự nhau, F1 là một biện pháp duy nhất để so sánh các mô hình khác nhau.

Ngắn và ngọt :)


Tôi không thấy bạn thậm chí đã cố gắng trả lời câu hỏi của tôi như thế nào ...
Bruno Lubascher
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.