Trung bình chính xác trung bình so với xếp hạng đối ứng trung bình

Tôi đang cố gắng hiểu khi nào thì phù hợp để sử dụng MAP và khi nào nên sử dụng MRR. Tôi thấy bài thuyết trình này nói rằng MRR được sử dụng tốt nhất khi số lượng kết quả có liên quan ít hơn 5 và tốt nhất khi nó là 1. Trong các trường hợp khác, MAP là phù hợp. Tôi có hai câu hỏi:

• Tôi thực sự không hiểu tại sao lại như vậy.
• Tôi không thể tìm thấy một tài liệu tham khảo có thể trích dẫn cho khiếu nại này.

Xin lưu ý rằng tôi không có một nền tảng thống kê rất mạnh nên lời giải thích của một giáo dân sẽ giúp ích rất nhiều. Cảm ơn bạn.

Hãy tưởng tượng bạn có một số loại truy vấn và hệ thống truy xuất của bạn đã trả về cho bạn một danh sách được xếp hạng trong số 20 mục hàng đầu mà nó cho là phù hợp nhất với truy vấn của bạn. Bây giờ cũng hãy tưởng tượng rằng có một sự thật cơ bản cho vấn đề này, rằng trong thực tế chúng ta có thể nói với mỗi người trong số 20 người rằng "có" đó là một câu trả lời có liên quan hoặc "không" không phải vậy.

Xếp hạng đối ứng trung bình (MRR) cung cấp cho bạn thước đo chung về chất lượng trong các tình huống này, nhưng MRR chỉ quan tâm đến mục duy nhất được xếp hạng cao nhất có liên quan . Nếu hệ thống của bạn trả về một mặt hàng có liên quan ở vị trí cao thứ ba, đó là điều MRR quan tâm. Không quan tâm nếu các mặt hàng liên quan khác (giả sử có bất kỳ) được xếp thứ 4 hoặc số 20.

Do đó, MRR thích hợp để đánh giá một hệ thống trong đó (a) chỉ có một kết quả có liên quan hoặc (b) trong trường hợp sử dụng của bạn, bạn chỉ thực sự quan tâm đến hệ thống được xếp hạng cao nhất. Điều này có thể đúng trong một số trường hợp tìm kiếm trên web, ví dụ, nơi người dùng chỉ muốn tìm một thứ để nhấp vào, họ không cần thêm nữa. (Mặc dù điều đó thường đúng, hoặc bạn sẽ hài lòng hơn với một tìm kiếm trên web trả về mười câu trả lời khá hay và bạn có thể đưa ra đánh giá của riêng mình về câu hỏi nào trong số đó để nhấp vào ...?)

Độ chính xác trung bình trung bình (MAP) xem xét liệu tất cả các mặt hàng có liên quan có xu hướng được xếp hạng cao hay không. Vì vậy, trong ví dụ top 20, không quan tâm nếu có câu trả lời phù hợp ở số 3, họ cũng quan tâm liệu tất cả các mục "có" trong danh sách đó có được xếp lên đầu hay không.

Không có nhu cầu thực sự sử dụng MAP nếu bạn chỉ có 1 câu trả lời có liên quan trong dữ liệu của mình, MRR sẽ ổn. Nhưng nếu bạn gửi một truy vấn như "nữ nguyên thủ quốc gia" và ba kết quả hàng đầu là "Margaret Thatcher", "Vigdís Finnbogadóttir" và "Pratibha Patil", tất cả đều là những câu trả lời khác biệt nhưng chính xác và chúng tôi có thể muốn phán xét đây là một kết quả tốt, tốt hơn một hệ thống chỉ đưa một trong những câu trả lời đó lên đầu.