Khi nào độ chính xác quan trọng hơn thu hồi?

Bất cứ ai có thể cho tôi một số ví dụ trong đó độ chính xác là quan trọng và một số ví dụ trong đó thu hồi là quan trọng?

• Đối với mô hình dữ liệu ung thư hiếm gặp, bất cứ điều gì không giải thích cho âm tính giả là một tội ác. Nhớ lại là một biện pháp tốt hơn so với độ chính xác.
• Đối với các đề xuất của YouTube, phủ định sai ít đáng quan tâm. Chính xác là tốt hơn ở đây.

Tôi có thể cung cấp cho bạn trường hợp thực tế của tôi khi thu hồi là quan trọng hơn:

Chúng tôi có hàng ngàn khách hàng miễn phí đăng ký trên trang web của chúng tôi mỗi tuần. Nhóm trung tâm cuộc gọi muốn gọi tất cả, nhưng điều đó là không thể, vì vậy họ yêu cầu tôi chọn những người có cơ hội tốt để trở thành người mua (với nhiệt độ cao là cách chúng tôi đề cập đến họ). Chúng tôi không quan tâm gọi một anh chàng sẽ không mua (vì vậy độ chính xác không quan trọng) nhưng đối với chúng tôi, điều rất quan trọng là tất cả họ với nhiệt độ cao luôn nằm trong lựa chọn của tôi, vì vậy họ không đi mà không mua. Điều đó có nghĩa là mô hình của tôi cần phải có mức thu hồi cao , bất kể độ chính xác có đi vào địa ngục hay không.

Tôi hy vọng nó sẽ giúp! Miguel.

Mặc dù trong một số tình huống, việc thu hồi có thể quan trọng hơn độ chính xác (hoặc ngược lại), bạn cần cả hai để có được đánh giá dễ hiểu hơn.

Ví dụ, như được lưu ý bởi @SmallChess, trong cộng đồng y tế, âm tính giả thường tai hại hơn so với dương tính giả trong chẩn đoán sơ bộ. Do đó, người ta có thể coi việc thu hồi là một phép đo quan trọng hơn. Tuy nhiên, bạn có thể thu hồi 100% nhưng vẫn có một mô hình vô dụng: nếu mô hình của bạn luôn đưa ra dự đoán tích cực, nó sẽ thu hồi 100% nhưng hoàn toàn không chính xác.

Đây là lý do tại sao chúng tôi xem xét nhiều số liệu:

• đường cong thu hồi chính xác
• AUROC
• và đôi khi các số liệu như điểm F

Cái nào quan trọng hơn đơn giản phụ thuộc vào chi phí của mỗi lỗi là gì.

Độ chính xác có xu hướng liên quan đến chi phí trực tiếp; bạn càng có nhiều dương tính giả, bạn càng có nhiều chi phí cho mỗi tích cực thực sự. Nếu chi phí của bạn thấp, thì độ chính xác không thành vấn đề. Chẳng hạn, nếu bạn có 1 triệu địa chỉ email và sẽ tốn 10 đô la để gửi email đến tất cả chúng, có lẽ bạn không nên mất thời gian để cố gắng xác định những người có khả năng trả lời nhất, thay vì chỉ spam tất cả chúng.

Nhớ lại, mặt khác đã có, có xu hướng liên quan đến chi phí cơ hội; bạn đang từ bỏ cơ hội mỗi khi bạn có một tiêu cực sai. Vì vậy, việc thu hồi ít quan trọng nhất khi giá trị biên của nhận dạng đúng bổ sung là nhỏ, ví dụ: có nhiều cơ hội, có rất ít sự khác biệt giữa chúng và chỉ có thể theo đuổi một số lượng giới hạn. Ví dụ, giả sử bạn muốn mua một quả táo. Có 100 quả táo tại cửa hàng, và 10 trong số đó là xấu. Nếu bạn có một phương pháp phân biệt những quả táo xấu mà bỏ lỡ 80% những quả tốt, thì bạn sẽ xác định được khoảng 18 quả táo tốt. Thông thường, việc thu hồi 20% sẽ rất tệ, nhưng nếu bạn chỉ muốn 5 quả táo, thì việc thiếu 72 quả táo khác đó không thực sự quan trọng.

Vì vậy, thu hồi là quan trọng nhất khi:

-Số cơ hội rất ít (nếu chỉ có 10 quả táo tốt, thì bạn sẽ không thể tìm thấy 5 quả tốt với tỷ lệ thu hồi chỉ 20%)
-Có sự khác biệt đáng kể giữa các cơ hội (nếu một số quả táo tốt hơn những quả khác , sau đó tỷ lệ thu hồi 20% là đủ để có được 5 quả táo tốt, nhưng chúng không nhất thiết phải là quả táo tốt nhất )
HOẶC
- Lợi ích cận biên của các cơ hội vẫn cao, ngay cả đối với nhiều cơ hội. Ví dụ, trong khi hầu hết người mua hàng sẽ không nhận được nhiều lợi ích từ hơn 18 quả táo tốt, cửa hàng muốn có hơn 18 quả táo để bán.

Do đó, độ chính xác sẽ quan trọng hơn thu hồi khi chi phí diễn xuất cao, nhưng chi phí không diễn xuất thấp. Lưu ý rằng đây là chi phí hành động / không hành động cho mỗi ứng cử viên, không phải "chi phí cho bất kỳ hành động nào" so với "chi phí không có bất kỳ hành động nào". Trong ví dụ về táo, đó là chi phí mua / không mua một loại táo cụ thể, không phải chi phí mua một số táo so với chi phí không mua bất kỳ táo nào; chi phí không mua một quả táo cụ thể là thấp vì có rất nhiều táo khác. Vì chi phí mua một quả táo xấu là cao, nhưng chi phí chuyển qua một quả táo tốt đặc biệt thấp, độ chính xác là quan trọng hơn trong ví dụ đó. Một ví dụ khác sẽ được tuyển dụng khi có rất nhiều ứng cử viên tương tự.

Nhớ lại là quan trọng hơn độ chính xác khi chi phí diễn xuất thấp, nhưng chi phí cơ hội để vượt qua một ứng cử viên là cao. Có ví dụ về thư rác mà tôi đã đưa ra trước đó (chi phí bỏ lỡ địa chỉ email không cao, nhưng chi phí gửi email cho người không trả lời thậm chí còn thấp hơn) và một ví dụ khác sẽ xác định ứng viên cho Tiêm phòng cúm: tiêm ngừa cúm cho người không cần, và chi phí một vài đô la, đừng đưa cho người cần, và họ có thể chết. Bởi vì điều này, các kế hoạch chăm sóc sức khỏe nói chung sẽ cung cấp tiêm phòng cúm cho mọi người, bất chấp sự chính xác hoàn toàn.

Tích lũy có một câu trả lời tuyệt vời về cách bạn có thể đưa ra nhiều ví dụ giải thích tầm quan trọng của độ chính xác so với thu hồi và ngược lại.

Hầu hết các câu trả lời khác tạo nên một trường hợp hấp dẫn về tầm quan trọng của việc thu hồi nên tôi nghĩ tôi sẽ đưa ra một ví dụ về tầm quan trọng của độ chính xác. Đây là một ví dụ hoàn toàn giả thuyết nhưng nó làm cho trường hợp.

Hãy để chúng tôi nói rằng một mô hình học máy được tạo ra để dự đoán liệu một ngày nào đó có phải là một ngày tốt để phóng vệ tinh hay không dựa trên thời tiết.

• Nếu mô hình vô tình dự đoán rằng một ngày tốt để phóng vệ tinh là xấu ( âm tính giả ), chúng ta sẽ bỏ lỡ cơ hội để phóng. Đây không phải là một vấn đề lớn.

• Tuy nhiên, nếu mô hình dự đoán rằng đó là một ngày tốt, nhưng thực sự là một ngày tồi tệ để phóng các vệ tinh ( dương tính giả ) thì các vệ tinh có thể bị phá hủy và chi phí thiệt hại sẽ lên tới hàng tỷ.

Đây là một trường hợp mà độ chính xác quan trọng hơn thu hồi.

Tôi đã có một thời gian khó khăn để nhớ sự khác biệt giữa độ chính xác và thu hồi, cho đến khi tôi tự mình nghĩ ra điều này:

PREcision là để kiểm tra PREgnancy vì reCALL là đến trung tâm CALL.

Với xét nghiệm thử thai, nhà sản xuất thử nghiệm cần chắc chắn rằng kết quả dương tính có nghĩa là người phụ nữ thực sự đang mang thai. Mọi người có thể phản ứng với một thử nghiệm tích cực bằng cách đột nhiên kết hôn hoặc mua nhà (nếu nhiều người tiêu dùng có kết quả dương tính giả và phải chịu chi phí lớn mà không có lý do, nhà sản xuất thử nghiệm sẽ thiếu khách hàng). Tôi đã có kết quả thử thai âm tính giả một lần và điều đó chỉ có nghĩa là phải mất thêm vài tuần nữa trước khi tôi phát hiện ra mình có thai ... sự thật cuối cùng đã trở thành TUYỆT VỜI. (Pun dự định.)

Bây giờ hình ảnh một trung tâm cuộc gọi cho yêu cầu bảo hiểm. Hầu hết các khiếu nại gian lận được gọi điện vào thứ Hai, sau khi những kẻ lừa đảo kết nối với các cộng tác viên và tạo ra những câu chuyện giả tạo của họ ("giả sử chiếc xe đã bị đánh cắp") vào cuối tuần. Điều tốt nhất cho một công ty bảo hiểm làm gì vào thứ Hai? Có lẽ họ nên điều chỉnh để ủng hộ thu hồi trên độ chính xác. Tốt hơn hết là gắn cờ nhiều khiếu nại là tích cực (có khả năng là gian lận) để điều tra thêm hơn là bỏ lỡ một số gian lận và thanh toán bằng tiền mặt mà chưa bao giờ được thanh toán. Một dương tính giả (được gắn cờ để xem xét kỹ lưỡng hơn có thể là lừa đảo, nhưng mất khách hàng là có thật) có thể được xóa bằng cách chỉ định một người điều chỉnh có kinh nghiệm, người có thể nhấn mạnh vào báo cáo của cảnh sát, yêu cầu xây dựng video bảo mật, v.v. một kẻ lừa đảo '

F1 là tuyệt vời nhưng hiểu được cách kiểm tra / dự đoán sẽ được sử dụng thực sự quan trọng, bởi vì luôn có một số rủi ro sai ... bạn muốn biết hậu quả sẽ nghiêm trọng như thế nào nếu sai.

Phát hiện thư rác qua email : Đây là một trong những ví dụ trong đó Độ chính xác quan trọng hơn Thu hồi .

Tóm tắt nhanh :

• Chính xác : Điều này cho biết khi bạn dự đoán điều gì đó tích cực, bao nhiêu lần chúng thực sự tích cực. trong khi,

• Nhớ lại : Điều này cho biết dữ liệu tích cực thực tế, bao nhiêu lần bạn dự đoán chính xác.

Như đã nói ở trên, trong trường hợp phát hiện email spam, Mọi người sẽ ổn nếu email spam (trường hợp tích cực) không bị phát hiện và không chuyển đến thư mục thư rác , nhưng nếu một email tốt (tiêu cực), thì nó không được chuyển đến thư mục thư rác. tức là Prison quan trọng hơn. (Nếu mô hình dự đoán một cái gì đó tích cực (ví dụ như thư rác), tốt hơn là thư rác. Khác, bạn có thể bỏ lỡ các email quan trọng).

Hy vọng nó làm rõ.