Làm cách nào để tạo đường cong Precision-Recall khi tôi chỉ có một giá trị cho PR?

Tôi có một nhiệm vụ khai thác dữ liệu nơi tôi thực hiện một hệ thống truy xuất hình ảnh dựa trên nội dung. Tôi có 20 hình ảnh của 5 con vật. Vì vậy, trong tổng số 100 hình ảnh.

Hệ thống của tôi trả về 10 hình ảnh phù hợp nhất với hình ảnh đầu vào. Bây giờ tôi cần đánh giá hiệu năng của hệ thống của mình bằng đường cong Precision-Recall. Tuy nhiên, tôi không hiểu khái niệm đường cong Chính xác-Nhớ lại. Giả sử hệ thống của tôi trả về 10 hình ảnh cho một hình ảnh khỉ đột, nhưng chỉ có 4 trong số đó là khỉ đột. 6 hình ảnh khác được trả lại là các động vật khác '. Như vậy

độ chính xác là 4/10 = 0.4(trả lại liên quan) / (tất cả trả lại)
gọi lại là 4/20 = 0.2(trả lại liên quan) / (tất cả các liên quan)

Vì vậy, tôi chỉ có một điểm <0.2,0.4>, không phải là một đường cong. Làm thế nào để tôi có một đường cong (nghĩa là một tập hợp các điểm)? Tôi có nên thay đổi số lượng hình ảnh được trả lại (điều này được cố định ở mức 10 trong trường hợp của tôi)?

— jeff
nguồn

Hầu hết các mô hình chỉ định xác suất thuộc về một lớp, chứ không phải chính lớp đó - hoặc bạn ép một trong số các phân loại. Đường cong có được bằng cách thay đổi giới hạn xác suất. Bạn có thể sẽ nhận được câu trả lời chi tiết hơn nếu bạn đề cập đến trình phân loại mà bạn sử dụng.

— charles

Tôi tính toán các vectơ đặc trưng (màu sắc, kết cấu và hình dạng) và đạt được điểm tương tự cho từng điểm, tổng hợp chúng cho tổng điểm tương tự, sau đó sắp xếp giảm dần. 10 chỉ số hình ảnh hàng đầu là những chỉ số phù hợp nhất. Tôi có thể lấy chỉ mục lớp từ chỉ mục hình ảnh kể từ khi các hình ảnh được đặt hàng (20 con khỉ đột, 20 con hươu cao cổ, v.v.) Tôi hy vọng tôi đã làm rõ, vì tôi không hiểu đầy đủ về phân loại / mô tả khái niệm, v.v.

— jeff

Nhận ra tôi đã không đọc câu hỏi tốt. Nghĩ rằng bạn đã có một vấn đề hai lớp (gorilla / no-gorilla). Với nhiều lớp hơn tôi, điều này có thể hữu ích: stats.stackexchange.com/questions/2151/ khăn

— charles

Tạo đường cong PR tương tự như tạo đường cong ROC. Để vẽ các ô như vậy, bạn cần một bảng xếp hạng đầy đủ của bộ thử nghiệm. Để thực hiện xếp hạng này, bạn cần một bộ phân loại đưa ra giá trị quyết định thay vì trả lời nhị phân. Giá trị quyết định là thước đo độ tin cậy trong dự đoán mà chúng ta có thể sử dụng để xếp hạng tất cả các trường hợp kiểm tra. Ví dụ, các giá trị quyết định của hồi quy logistic và SVM lần lượt là một xác suất và khoảng cách (đã ký) với siêu phẳng tách biệt.

Nếu bạn loại bỏ các giá trị quyết định, bạn xác định một bộ ngưỡng cho các giá trị quyết định đã nói. Các ngưỡng này là các cài đặt khác nhau của trình phân loại: ví dụ: bạn có thể kiểm soát mức độ bảo thủ. Đối với hồi quy logistic, ngưỡng mặc định sẽ là nhưng bạn có thể đi qua toàn bộ phạm vi của . Thông thường, các ngưỡng được chọn là giá trị quyết định duy nhất mà mô hình của bạn mang lại cho bộ thử nghiệm. $f(\mathbf{x}) = 0.5$ $(0, 1)$

Ở mỗi lựa chọn ngưỡng, mô hình của bạn đưa ra các dự đoán khác nhau (ví dụ: số lượng dự đoán tích cực và tiêu cực khác nhau). Như vậy, bạn nhận được một bộ các bộ dữ liệu với độ chính xác và thu hồi khác nhau ở mọi ngưỡng, ví dụ: một bộ bộ dữ liệu . Đường cong PR được vẽ dựa trên các cặp . $( T_i, P_i, R_i )$ $( P_i, R_i )$

Nếu tôi hiểu nhận xét của bạn một cách chính xác, tổng số điểm tương tự bạn tính có thể được sử dụng làm giá trị quyết định.

— Marc Claesen
nguồn

Điều này không rõ ràng với tôi, bạn có thể làm việc với một ví dụ chi tiết tương tự như tình huống truy xuất hình ảnh động vật của OP không?

— MR