F1 / Dice-Điểm so với IoU

Tôi đã nhầm lẫn về sự khác biệt giữa điểm F1, điểm Dice và IoU (giao điểm trên liên minh). Đến bây giờ tôi phát hiện ra rằng F1 và Dice có nghĩa là cùng một thứ (phải không?) Và IoU có một công thức rất giống với hai cái kia.

• F1 / Xúc xắc: $$\frac{2TP}{2TP+FP+FN}$$
• IoU / Jaccard: $$\frac{TP}{TP+FP+FN}$$

Có sự khác biệt thực tế hoặc những điều khác đáng chú ý ngoại trừ việc F1 có trọng số thực sự cao hơn không? Có một tình huống mà tôi sử dụng một nhưng không phải là một?

Bạn đang đi đúng hướng.

Nhưng có một tuyên bố mạnh mẽ hơn có thể được đưa ra cho ứng dụng điển hình của phân loại một máy học. Đối với bất kỳ "sự thật cơ bản" cố định nào, hai số liệu luôn có mối tương quan tích cực. Điều đó có nghĩa là nếu phân loại A tốt hơn B theo một số liệu, thì nó cũng tốt hơn phân loại B theo số liệu khác.

Thật hấp dẫn khi kết luận rằng hai số liệu tương đương về chức năng nên sự lựa chọn giữa chúng là tùy ý, nhưng không quá nhanh! Vấn đề xảy ra khi lấy điểm trung bình trên một tập hợp các suy luận . Sau đó, sự khác biệt xuất hiện khi định lượng mức độ phân loại B kém hơn A đối với bất kỳ trường hợp cụ thể nào.

Nói chung, số liệu IoU có xu hướng xử phạt các trường hợp phân loại xấu nhiều hơn điểm F về mặt định lượng ngay cả khi cả hai có thể đồng ý rằng trường hợp này là xấu. Tương tự như cách L2 có thể xử phạt những lỗi lớn nhất nhiều hơn L1, số liệu IoU có xu hướng có hiệu ứng "bình phương" đối với các lỗi liên quan đến điểm F. Vì vậy, điểm F có xu hướng đo lường một cái gì đó gần hơn với hiệu suất trung bình, trong khi điểm số IoU đo lường một cái gì đó gần với hiệu suất trường hợp xấu nhất.

Ví dụ, giả sử rằng phần lớn các suy luận tốt hơn ở mức độ vừa phải với phân loại A so với B, nhưng một số trong số chúng tồi tệ hơn đáng kể khi sử dụng phân loại A. phân loại B.

Để chắc chắn, cả hai số liệu này giống nhau nhiều hơn so với chúng là khác nhau. Nhưng cả hai đều phải chịu một bất lợi khác từ quan điểm lấy điểm trung bình của các điểm số này qua nhiều suy luận: cả hai đều nói quá tầm quan trọng của các tập hợp với các tập hợp tích cực thực tế không có thực. Trong ví dụ phổ biến về phân đoạn hình ảnh, nếu một hình ảnh chỉ có một pixel của một số lớp có thể phát hiện được và bộ phân loại phát hiện pixel đó và một pixel khác, điểm F của nó thấp hơn 2/3 và IoU thậm chí còn tệ hơn ở mức 1 / 2. Những sai lầm tầm thường như thế này có thể chi phối nghiêm trọng điểm trung bình được thực hiện trên một bộ ảnh. Nói tóm lại, nó cân nhắc từng lỗi pixel tỷ lệ nghịch với kích thước của tập hợp được chọn / có liên quan thay vì xử lý chúng như nhau.

$c_0$$c_1$