Ký hiệu mAP @ [. 5: .95] có nghĩa là gì?

17

Để phát hiện, một cách phổ biến để xác định xem một đề xuất đối tượng có đúng hay không là Giao lộ trên Liên minh (IoU, IU). Cái này lấy tập hợp của các pixel đối tượng được đề xuất và tập hợp các pixel đối tượng và tính toán: $A$ $B$

Tôi o Bạn (Một, B) = = \frac{Một \cap B}{Một \cup B}

$IoU(A, B) = \frac{A \cap B}{A \cup B}$

Thông thường, IoU> 0,5 có nghĩa là nó là một hit, nếu không thì đó là một thất bại. Đối với mỗi lớp, người ta có thể tính toán

True positive ( ): một đề xuất được đưa ra cho lớp và thực sự có một đối tượng của lớp $TP(c)$ $c$ $c$
Sai tích cực ( ): một đề xuất được đưa ra cho lớp , nhưng không có đối tượng của lớp $FP(c)$ $c$ $c$
Độ chính xác trung bình cho lớp : $c$ $\frac{\#TP(c)}{\#TP(c) + \#FP(c)}$

MAP (độ chính xác trung bình trung bình) = $\frac{1}{|classes|}\sum_{c \in classes} \frac{\#TP(c)}{\#TP(c) + \#FP(c)}$

Nếu một người muốn đề xuất tốt hơn, người ta sẽ tăng IoU từ 0,5 lên giá trị cao hơn (lên tới 1,0 sẽ là hoàn hảo). Người ta có thể biểu thị điều này với mAP @ p, trong đó là IoU. $p \in (0, 1)$

Nhưng những gì mAP@[.5:.95](như được tìm thấy trong bài báo này ) có nghĩa là gì?

computer-vision

— Martin Thoma
nguồn

Tôi nghi ngờ [.5:.95]phần này đề cập đến một loạt các giá trị IoU, nhưng cách phạm vi đó được đánh giá thành một mAP duy nhất tôi không biết.

— Neil Slater

@NeilSlater Nhưng tại sao bạn lại muốn có một ranh giới trên? Không phải IoU cao hơn luôn tốt hơn sao?

— Martin Thoma

Đạt được kết quả khớp với IoU cao hơn là tốt hơn, nhưng có lẽ giá trị mAP sẽ giảm nếu chúng ta đo mô hình mô tả các kết hợp hoàn hảo (đối với bất kỳ mô hình nào) và nó không được coi là một biện pháp hữu ích. Tại sao nó không được bao gồm trong phạm vi tôi không biết, nhưng sau đó tôi không biết cách tính toán mAP trong trường hợp này - ví dụ, nó có thể là một phương tiện đơn giản dựa trên các mẫu.

— Neil Slater

1

Có kho lưu trữ github này với một lời giải thích tuyệt vời về IOU , Precision , Recall , Average Precision và mAP . Nó cũng có một mã để đánh giá bất kỳ máy dò đối tượng. Nó chắc chắn sẽ giúp các bạn : https://github.com/rafaelpadilla/Object-Detection-Metrics

— Rafael Padilla

10

mAP@[.5:.95](ai đó ký hiệu mAP@[.5,.95]) có nghĩa là mAP trung bình trên các ngưỡng IoU khác nhau, từ 0,5 đến 0,95, bước 0,05 (0,5, 0,55, 0,6, 0,65, 0,7, 0,75, 0,8, 0,85, 0,9, 0,95).

Có một thách thức MS COCO liên quan với một số liệu đánh giá mới, tính trung bình mAP trên các ngưỡng IoU khác nhau, từ 0,5 đến 0,95 (được viết là 0,5: 0,95). [ Tham khảo ]

Chúng tôi đánh giá mAP trung bình cho IoU ∈ [0,5: 0,05: 0,95] (số liệu tiêu chuẩn của COCO, được ký hiệu đơn giản là mAP @ [. 5, .95]) và mAP@0.5 (số liệu của PASCAL VOC). [ Tham khảo ]

Để đánh giá các phát hiện cuối cùng của chúng tôi, chúng tôi sử dụng API COCO chính thức [20], đo lường mAP trung bình trên ngưỡng IOU trong [0,5: 0,05: 0,95], trong số các số liệu khác. [ Tham khảo ]

BTW, mã nguồn của coco cho thấy chính xác những gì mAP@[.5:.95]đang làm:

self.iouThrs = np.linspace(.5, 0.95, np.round((0.95 - .5) / .05) + 1, endpoint=True)

Người giới thiệu

https://github.com/pdollar/coco

http://mscoco.org/

https://www.cs.cornell.edu/~sbell/pdf/cvpr2016-ion-bell.pdf

https://arxiv.org/pdf/1506.01497.pdf

https://arxiv.org/pdf/1611.10012.pdf

— Băng giá
nguồn

Bạn có phiền một câu hỏi không? Ví dụ: nếu chúng ta có 3 trường hợp của một lớp nhất định trong tập dữ liệu và mô hình trả về iou là 0,1, 0,6 và 0,9 cho chúng, điều đó có nghĩa là chúng ta loại bỏ kết quả 0,1 và iou trung bình là 0,75 và mAP tương ứng?

— Alex

5

$\frac{\#TP(c)}{\#TP(c) + \#FP(c)}$

— anhvh
nguồn

Đối với những người xem qua tài liệu tham khảo, định nghĩa về Độ chính xác trung bình (AP) nằm ở trang 11.

— Waylon Flinn

3

AP được tính trung bình trên tất cả các loại. Theo truyền thống, điều này được gọi là "độ chính xác trung bình trung bình" (mAP). Chúng tôi không phân biệt giữa AP và mAP (và tương tự AR và mAR) và cho rằng sự khác biệt là rõ ràng từ bối cảnh.

http://cocodataset.org/#detections-eval

— Đánh dấu dương
nguồn

Tôi nghĩ rằng mAP là trung bình của các AP trong đa lớp. Tôi muốn biết định nghĩa tác giả / giấy của bạn về thể loại.

— Đám mây Cho