Chỉ số mAP là gì và nó được tính như thế nào?

Trong tầm nhìn máy tính và phát hiện đối tượng, phương pháp đánh giá phổ biến là mAP. Nó là gì và nó được tính như thế nào?

Trích dẫn từ bài báo Zisserman đã đề cập ở trên - 4.2 Đánh giá kết quả (Trang 11) :

Đầu tiên, một "tiêu chí chồng chéo" được định nghĩa là một giao nhau lớn hơn 0,5. (ví dụ: nếu một hộp dự đoán thỏa mãn tiêu chí này đối với hộp chân lý cơ bản, nó được coi là một phát hiện). Sau đó, đối sánh được thực hiện giữa các hộp GT và các hộp được dự đoán bằng cách sử dụng phương pháp "tham lam" này:

Kết quả phát hiện bằng một phương pháp được gán cho các đối tượng chân lý nền thỏa mãn tiêu chí chồng chéo theo thứ tự được xếp hạng theo đầu ra độ tin cậy (giảm dần). Nhiều phát hiện của cùng một đối tượng trong một hình ảnh được coi là phát hiện sai, ví dụ: 5 phát hiện của một đối tượng được tính là 1 phát hiện đúng và 4 phát hiện sai

Do đó, mỗi ô được dự đoán là True-Positive hoặc False-Positive. Mỗi ô chân lý nền là True-Positive. Không có Chân thực-Phủ định.

Sau đó, độ chụm trung bình được tính bằng cách lấy giá trị trung bình của các giá trị độ chụm trên đường cong thu hồi độ chụm trong đó độ thu hồi nằm trong khoảng [0, 0,1, ..., 1] (ví dụ: trung bình của 11 giá trị độ chụm). Nói một cách chính xác hơn, chúng ta xem xét một đường cong PR được hiệu chỉnh một chút, trong đó đối với mỗi điểm đường cong (p, r), nếu có một điểm đường cong khác (p ', r') sao cho p '> p và r'> = r , chúng ta thay p bằng p cực đại của các điểm đó.

Điều tôi vẫn chưa rõ là điều gì được thực hiện với những hộp GT không bao giờ được phát hiện (ngay cả khi độ tin cậy là 0). Điều này có nghĩa là có một số giá trị thu hồi nhất định mà đường cong truy lại độ chính xác sẽ không bao giờ đạt đến và điều này làm cho phép tính độ chính xác trung bình ở trên không được xác định.

Biên tập:

Câu trả lời ngắn gọn: trong khu vực không thể truy cập thu hồi, độ chính xác giảm xuống 0.

Một cách để giải thích điều này là giả định rằng khi ngưỡng tin cậy gần bằng 0, vô số hộp giới hạn dự đoán sẽ sáng lên trên toàn ảnh. Độ chính xác sau đó ngay lập tức về 0 (vì chỉ có một số lượng hộp GT hữu hạn) và việc thu hồi tiếp tục tăng trên đường cong phẳng này cho đến khi chúng tôi đạt 100%.

mAP là Độ chính xác Trung bình Trung bình.

Việc sử dụng nó khác nhau trong lĩnh vực Thiết lập Truy xuất Thông tin (Tài liệu tham khảo [1] [2] ) và Phân loại Đa Lớp (Phát hiện Đối tượng).

Để tính toán nó cho Phát hiện đối tượng, bạn tính độ chính xác trung bình cho mỗi lớp trong dữ liệu của bạn dựa trên các dự đoán mô hình của bạn. Độ chính xác trung bình liên quan đến diện tích dưới đường cong thu hồi độ chính xác cho một lớp. Sau đó, Lấy giá trị trung bình của độ chính xác cấp cá nhân trung bình này sẽ cho bạn Độ chính xác trung bình trung bình.

Để tính toán độ chính xác trung bình, hãy xem [3]

Để phát hiện, một cách phổ biến để xác định xem một đề xuất đối tượng có đúng hay không là Giao điểm qua Liên minh (IoU, IU). Điều này lấy tập hợp A các pixel đối tượng được đề xuất và tập hợp các pixel đối tượng thực Bvà tính toán:

Thông thường, IoU> 0,5 có nghĩa là nó đã đạt được thành công, nếu không nó là thất bại. Đối với mỗi lớp, người ta có thể tính toán

• True Positive TP (c): một đề xuất được thực hiện cho lớp c và thực sự có một đối tượng của lớp c
• False Positive FP (c): một đề xuất được thực hiện cho lớp c, nhưng không có đối tượng nào của lớp c
• Độ chính xác trung bình cho lớp c:
  

MAP (độ chính xác trung bình trung bình) sau đó là:

Lưu ý: Nếu muốn đề xuất tốt hơn, người đó sẽ tăng IoU từ 0,5 lên giá trị cao hơn (tối đa 1,0 sẽ là hoàn hảo). Người ta có thể biểu thị điều này bằng mAP @ p, trong đó p \ in (0, 1) là IoU.

mAP@[.5:.95] có nghĩa là mAP được tính toán trên nhiều ngưỡng và sau đó lại được tính trung bình

Chỉnh sửa: Để biết thêm thông tin chi tiết, hãy xem các chỉ số Đánh giá COCO

Tôi nghĩ rằng phần quan trọng ở đây là liên kết cách phát hiện đối tượng có thể được coi giống như các vấn đề truy xuất thông tin tiêu chuẩn mà tồn tại ít nhất một mô tả tuyệt vời về độ chính xác trung bình .

Đầu ra của một số thuật toán phát hiện đối tượng là một tập hợp các hộp giới hạn được đề xuất và đối với mỗi hộp, một điểm tin cậy và phân loại (một điểm cho mỗi lớp). Bây giờ chúng ta hãy bỏ qua điểm phân loại và sử dụng độ tin cậy làm đầu vào cho phân loại nhị phân ngưỡng . Theo trực giác, độ chính xác trung bình là tổng hợp của tất cả các lựa chọn cho giá trị ngưỡng / ngưỡng. Nhưng chờ đợi; để tính toán độ chính xác, chúng ta cần biết một hộp có đúng không!

Đây là nơi mà nó trở nên khó hiểu / khó khăn; trái ngược với các vấn đề truy xuất thông tin điển hình, chúng tôi thực sự có thêm một mức phân loại ở đây. Nghĩa là, chúng ta không thể thực hiện đối sánh chính xác giữa các hộp, vì vậy chúng ta cần phân loại xem hộp giới hạn có đúng hay không. Giải pháp về cơ bản là thực hiện phân loại mã hóa cứng trên các kích thước hộp; chúng tôi kiểm tra xem nó có đủ trùng khớp với bất kỳ sự thật cơ bản nào để được coi là 'đúng' hay không. Ngưỡng cho phần này được chọn theo lẽ thường. Tập dữ liệu bạn đang làm việc có thể sẽ xác định ngưỡng này cho hộp giới hạn 'đúng' là gì. Hầu hết các bộ dữ liệu chỉ đặt nó ở 0,5 IoU và để nó ở mức đó (Tôi khuyên bạn nên thực hiện một vài phép tính IoU thủ công [chúng không khó] để có cảm nhận về mức độ nghiêm ngặt của IoU 0,5).

Bây giờ chúng ta đã thực sự xác định được nghĩa là 'đúng', chúng ta có thể sử dụng quy trình tương tự như truy xuất thông tin.

Để tìm độ chính xác trung bình trung bình (mAP), bạn chỉ cần phân tầng các hộp được đề xuất của mình dựa trên điểm phân loại tối đa được liên kết với các hộp đó, sau đó lấy trung bình (lấy trung bình) của độ chính xác trung bình (AP) qua các lớp.

TLDR; phân biệt giữa việc xác định xem dự đoán hộp giới hạn là 'đúng' (cấp độ phân loại bổ sung) và đánh giá mức độ tin cậy của hộp thông báo cho bạn về dự đoán hộp giới hạn 'đúng' (hoàn toàn tương tự với trường hợp truy xuất thông tin) và các mô tả điển hình về mAP sẽ có ý nghĩa.

Cần lưu ý rằng Diện tích dưới đường cong Chính xác / Nhớ lại giống như độ chính xác trung bình và về cơ bản chúng ta đang tính gần đúng diện tích này với quy tắc hình thang hoặc bàn tay phải để tính gần đúng tích phân.

Định nghĩa: mAP → có nghĩa là Độ chính xác Trung bình

Trong hầu hết các cuộc thi phát hiện đối tượng, có nhiều hạng mục để phát hiện và việc đánh giá mô hình được thực hiện trên một hạng mục cụ thể mỗi lần, kết quả đánh giá là AP của hạng mục đó.

Khi mọi danh mục được đánh giá, giá trị trung bình của tất cả các AP được tính là kết quả cuối cùng của mô hình, đó là mAP.

Intersection Over Union (IOU) được đo lường dựa trên Chỉ số Jaccard đánh giá sự chồng chéo giữa hai hộp giới hạn. Nó yêu cầu một hộp giới hạn chân lý cơ bản và một hộp giới hạn dự đoán Bằng cách áp dụng IOU, chúng ta có thể biết liệu phát hiện có hợp lệ (Đúng dương tính) hay không (Dương tính sai) .IOU được cho bởi vùng chồng chéo giữa hộp giới hạn dự đoán và mặt đất hộp giới hạn chân lý chia cho khu vực liên kết giữa chúng.