Đây là một câu hỏi chung được hỏi gián tiếp nhiều lần ở đây, nhưng nó thiếu một câu trả lời có thẩm quyền duy nhất. Sẽ thật tuyệt khi có một câu trả lời chi tiết cho điều này để tham khảo.

Độ chính xác , tỷ lệ phân loại chính xác trong tất cả các phân loại, là biện pháp rất đơn giản và rất "trực quan", tuy nhiên nó có thể là một biện pháp kém cho dữ liệu mất cân bằng . Tại sao trực giác của chúng ta hiểu lầm chúng ta ở đây và có bất kỳ vấn đề nào khác với biện pháp này?

Hầu hết các câu trả lời khác tập trung vào ví dụ về các lớp không cân bằng. Vâng, điều này rất quan trọng. Tuy nhiên, tôi cho rằng độ chính xác là có vấn đề ngay cả với các lớp cân bằng.

Frank Harrell đã viết về điều này trên blog của mình: Phân loại so với dự đoán và thiệt hại gây ra bởi độ chính xác của phân loại và các quy tắc chấm điểm chính xác không liên tục không liên tục khác .

Về cơ bản, lập luận của ông là thành phần thống kê của bài tập của bạn kết thúc khi bạn đưa ra một xác suất cho mỗi lớp của mẫu mới của bạn. Lập bản đồ các xác suất dự đoán $(\hat{p}, 1-\hat{p})$ để phân loại 0-1, bằng cách chọn một ngưỡng ngoài mà bạn phân loại một quan sát mới như 1 vs 0 không phải là một phần của thống kê nữa. Nó là một phần của thành phần quyết định . Và ở đây, bạn cần đầu ra xác suất của mô hình của bạn - nhưng cũng cần cân nhắc như:

• Hậu quả của việc quyết định coi một quan sát mới là lớp 1 so với 0 là gì? Sau đó tôi có gửi thư tiếp thị giá rẻ cho tất cả 1 người không? Hay tôi áp dụng một điều trị ung thư xâm lấn với tác dụng phụ lớn?
• Hậu quả của việc coi "đúng" 0 là 1 và ngược lại là gì? Tôi sẽ đánh dấu một khách hàng? Đối tượng ai đó phải điều trị y tế không cần thiết?
• Là "lớp học" của tôi thực sự rời rạc? Hoặc thực sự có một sự liên tục (ví dụ, huyết áp), trong đó các ngưỡng lâm sàng trong thực tế chỉ là các phím tắt nhận thức? Nếu vậy, hiện tại tôi đã "phân loại" bao xa?
• Hay một xác suất thấp nhưng tích cực là loại 1 thực sự có nghĩa là "lấy thêm dữ liệu", "chạy thử nghiệm khác"?

Tùy thuộc vào hậu quả của quyết định của bạn, bạn sẽ sử dụng một ngưỡng khác nhau để đưa ra quyết định. Nếu hành động là phẫu thuật xâm lấn, bạn sẽ yêu cầu xác suất phân loại bệnh nhân cao hơn nhiều so với việc hành động đó là khuyên dùng hai viên aspirin. Hoặc thậm chí bạn có thể có ba quyết định khác nhau mặc dù chỉ có hai lớp (ốm so với khỏe): "về nhà và đừng lo lắng" so với "chạy thử nghiệm khác bởi vì chúng tôi không có kết luận" so với "hoạt động ngay lập tức" .

Cách đúng để đánh giá xác suất dự đoán $(\hat{p}, 1-\hat{p})$ là không để so sánh chúng với một ngưỡng, bản đồ họ $(0,1)$ dựa trên ngưỡng cửa và sau đó đánh giá chuyển đổi $(0,1)$ phân loại. Thay vào đó, người ta nên sử dụng quy tắc chấm điểm thích hợp . Đây là các hàm mất mát ánh xạ xác suất dự đoán và kết quả quan sát tương ứng với các giá trị tổn thất, được giảm thiểu theo kỳ vọng bởi xác suất thực $(p,1-p)$ . Ý tưởng là chúng tôi lấy trung bình trên quy tắc tính điểm được đánh giá trên nhiều kết quả quan sát được (tốt nhất: nhiều) và xác suất thành viên lớp dự đoán tương ứng, như một ước tính về kỳ vọng của quy tắc tính điểm.

Lưu ý rằng "thích hợp" ở đây có một ý nghĩa được xác định chính xác - có các quy tắc chấm điểm không phù hợp cũng như các quy tắc chấm điểm thích hợp và cuối cùng là các quy tắc chấm điểm đúng đắn . Ghi điểm như vậy là các hàm mất của mật độ và kết quả dự đoán. Các quy tắc chấm điểm thích hợp là các quy tắc tính điểm được giảm thiểu trong kỳ vọng nếu mật độ dự đoán là mật độ thực. Quy tắc chấm điểm đúng đắn là quy tắc tính điểm chỉ giảm thiểu trong kỳ vọng nếu mật độ dự đoán là mật độ thực.

Như Frank Harrell lưu ý , độ chính xác là một quy tắc tính điểm không phù hợp. (Chính xác hơn, độ chính xác thậm chí không phải là quy tắc chấm điểm : xem câu trả lời của tôi về Độ chính xác có phải là quy tắc chấm điểm không chính xác trong cài đặt phân loại nhị phân không? ) một đồng tiền không công bằng với xác suất $(0.6,0.4)$ . Độ chính xác được tối đa hóa nếu chúng ta phân loại mọi thứ là lớp đầu tiên và hoàn toàn bỏ qua xác suất 40% rằng bất kỳ kết quả nào có thể nằm trong lớp thứ hai. (Ở đây chúng ta thấy rằng độ chính xác là có vấn đề ngay cả đối với các lớp cân bằng.) Quy tắc chấm điểm thích hợp sẽ thích một $(0.6,0.4)$ dự đoán đến$(1,0)$ một trong mong đợi. Cụ thể, độ chính xác không liên tục trong ngưỡng: di chuyển ngưỡng một chút xíu có thể khiến một (hoặc nhiều) dự đoán thay đổi các lớp và thay đổi toàn bộ độ chính xác bằng một lượng riêng biệt. Điều này làm cho rất ít ý nghĩa.

Thông tin chi tiết có thể được tìm thấy tại hai bài đăng trên blog của Frank được liên kết ở trên, cũng như trong Chương 10 của Chiến lược mô hình hồi quy của Frank Harrell .

(Điều này đáng xấu hổ được đưa ra từ một câu trả lời trước đó của tôi .)

---

BIÊN TẬP. Câu trả lời của tôi cho Ví dụ khi sử dụng độ chính xác làm thước đo kết quả sẽ dẫn đến một kết luận sai đưa ra một ví dụ minh họa hy vọng trong đó tối đa hóa độ chính xác có thể dẫn đến các quyết định sai ngay cả đối với các lớp cân bằng .

Khi chúng tôi sử dụng độ chính xác, chúng tôi gán chi phí bằng nhau cho dương tính giả và âm tính giả. Khi tập dữ liệu đó bị mất cân bằng - giả sử nó có 99% trường hợp trong một lớp và chỉ có 1% ở lớp kia - có một cách tuyệt vời để giảm chi phí. Dự đoán rằng mọi trường hợp thuộc về nhóm đa số, có độ chính xác 99% và về nhà sớm.

Vấn đề bắt đầu khi chi phí thực tế mà chúng tôi chỉ định cho mọi lỗi không bằng nhau. Nếu chúng ta đối phó với một căn bệnh hiếm gặp nhưng gây tử vong, chi phí không chẩn đoán được bệnh của người bệnh cao hơn nhiều so với chi phí đưa người khỏe mạnh đi xét nghiệm nhiều hơn.

Nói chung, không có biện pháp tốt nhất chung. Các biện pháp tốt nhất được bắt nguồn từ nhu cầu của bạn. Theo một nghĩa nào đó, nó không phải là một câu hỏi học máy, mà là một câu hỏi kinh doanh. Thông thường, hai người sẽ sử dụng cùng một bộ dữ liệu nhưng sẽ chọn các số liệu khác nhau do các mục tiêu khác nhau.

Độ chính xác là một số liệu tuyệt vời. Trên thực tế, hầu hết các số liệu đều tuyệt vời và tôi thích đánh giá nhiều số liệu. Tuy nhiên, tại một số điểm, bạn sẽ cần phải quyết định giữa việc sử dụng mô hình A hoặc B. Ở đó bạn nên sử dụng một số liệu duy nhất phù hợp nhất với nhu cầu của bạn.

Đối với tín dụng bổ sung, hãy chọn số liệu này trước khi phân tích, do đó bạn sẽ không bị phân tâm khi đưa ra quyết định.

Vấn đề với độ chính xác

Độ chính xác tiêu chuẩn được định nghĩa là tỷ lệ phân loại chính xác với số lượng phân loại được thực hiện.

$$\begin{align*} accuracy := \frac{\text{correct classifications}}{\text{number of classifications}} \end{align*}$$

Do đó, đây là biện pháp tổng thể đối với tất cả các lớp và vì chúng ta sẽ sớm thấy rằng đó không phải là một biện pháp tốt để phân biệt một lời sấm truyền với một bài kiểm tra hữu ích thực tế. Một nhà tiên tri là một chức năng phân loại trả về một dự đoán ngẫu nhiên cho mỗi mẫu. Tương tự như vậy, chúng tôi muốn có thể đánh giá hiệu suất phân loại của chức năng phân loại của chúng tôi. Độ chính xác \ textit {can} là một thước đo hữu ích nếu chúng ta có cùng số lượng mẫu cho mỗi lớp nhưng nếu chúng ta có một bộ mẫu không cân bằng thì độ chính xác hoàn toàn không hữu ích. Thậm chí nhiều hơn, một thử nghiệm có thể có độ chính xác cao nhưng thực sự hoạt động kém hơn so với thử nghiệm có độ chính xác thấp hơn.

Nếu chúng ta có phân phối mẫu sao cho 90 \% mẫu thuộc về loại $\mathcal{A}$ , 5 \% thuộc về $\mathcal{B}$ và 5 \% khác thuộc về $\mathcal{C}$ thì hàm phân loại sau sẽ có độ chính xác là $0.9$ :

$$\begin{align*} classify(sample) := \begin{cases} \mathcal{A} & \text{if }\top \\ \end{cases} \end{align*}$$

Tuy nhiên, rõ ràng cho rằng chúng tôi biết làm thế nào $classify$ làm việc rằng đây nó không thể nói các lớp học ngoài ở tất cả. Tương tự như vậy, chúng ta có thể xây dựng một chức năng phân loại

$$\begin{align*} classify(sample) := \text{guess} \begin{cases} \mathcal{A} & \text{with p } = 0.96 \\ \mathcal{B} & \text{with p } = 0.02 \\ \mathcal{C} & \text{with p } = 0.02 \\ \end{cases} \end{align*}$$

trong đó có độ chính xác $0.96 \cdot 0.9 + 0.02 \cdot 0.05 \cdot 2 = 0.866$ và sẽ không luôn luôn dự đoán $\mathcal{A}$ nhưng vẫn cho rằng chúng tôi biết làm thế nào $classify$ làm việc rõ ràng là nó không thể nói lớp ngoài. Độ chính xác trong trường hợp này chỉ cho chúng ta biết chức năng phân loại của chúng ta tốt như thế nào khi đoán. Điều này có nghĩa là độ chính xác không phải là một biện pháp tốt để phân biệt một lời tiên tri ngoài một bài kiểm tra hữu ích.

Độ chính xác trên mỗi lớp

Chúng ta có thể tính toán độ chính xác riêng cho từng lớp bằng cách chỉ cung cấp cho hàm phân loại của chúng ta các mẫu từ cùng một lớp và ghi nhớ và đếm số lượng phân loại chính xác và phân loại không chính xác sau đó tính toán $accuracy := \text{correct}/(\text{correct} + \text{incorrect})$ . Chúng tôi lặp lại điều này cho mỗi lớp. Nếu chúng ta có một hàm phân loại có thể nhận ra chính xác lớp $\mathcal{A}$ nhưng sẽ đưa ra dự đoán ngẫu nhiên cho các lớp khác thì điều này dẫn đến độ chính xác là $1.00$ cho $\mathcal{A}$ và độ chính xác là $0.33$cho các lớp khác Điều này đã cung cấp cho chúng tôi một cách tốt hơn nhiều để đánh giá hiệu suất của chức năng phân loại của chúng tôi. Một nhà tiên tri luôn đoán cùng một lớp sẽ tạo ra độ chính xác cho mỗi lớp là $1.00$ cho lớp đó, nhưng $0.00$ cho lớp kia. Nếu thử nghiệm của chúng tôi là hữu ích, tất cả các độ chính xác cho mỗi lớp sẽ $>0.5$ . Mặt khác, thử nghiệm của chúng tôi không tốt hơn cơ hội. Tuy nhiên, độ chính xác cho mỗi lớp không tính đến dương tính giả. Mặc dù chức năng phân loại của chúng tôi có độ chính xác 100 \% cho lớp $\mathcal{A}$ , cũng sẽ có kết quả dương tính giả đối với $\mathcal{A}$ (chẳng hạn như $\mathcal{B}$ được phân loại sai thành $\mathcal{A}$ ).

Độ nhạy và độ đặc hiệu

Trong các xét nghiệm y tế độ nhạy được định nghĩa là tỷ lệ giữa những người được xác định chính xác là có bệnh và số người thực sự mắc bệnh. Độ đặc hiệu được định nghĩa là tỷ lệ giữa những người được xác định chính xác là khỏe mạnh và lượng người thực sự khỏe mạnh. Lượng người thực sự mắc bệnh là lượng kết quả xét nghiệm dương tính thật cộng với lượng kết quả xét nghiệm âm tính giả. Lượng người thực sự khỏe mạnh là lượng kết quả xét nghiệm âm tính thật cộng với lượng kết quả xét nghiệm dương tính giả.

Phân loại nhị phân

Trong các bài toán phân loại nhị phân có hai lớp $\mathcal{P}$ và $\mathcal{N}$ . $T_{n}$ đề cập đến số lượng mẫu được xác định chính xác là thuộc về lớp $n$ và $F_{n}$ đề cập đến số lượng mẫu được xác định sai là thuộc về lớp $n$ . Trong trường hợp này độ nhạy và độ đặc hiệu được xác định như sau:

$$\begin{align*} sensitivity := \frac{T_{\mathcal{P}}}{T_{\mathcal{P}}+F_{\mathcal{N}}} \\ specificity := \frac{T_{\mathcal{N}}}{T_{\mathcal{N}}+F_{\mathcal{P}}} \end{align*}$$

$T_{\mathcal{P}}$ là dương tính thật$F_{\mathcal{N}}$ là âm tính giả,$T_{\mathcal{N}}$ là âm tính thật và$F_{\mathcal{P}}$ là dương tính giả. Tuy nhiên, suy nghĩ về âm và dương là tốt cho bài kiểm tra y tế nhưng để có được một trực giác tốt hơn chúng ta không nên nghĩ về âm và dương nhưng trong lớp generic$\alpha$ và$\beta$ . Sau đó, chúng ta có thể nói rằng số lượng mẫu được xác định một cách chính xác là thuộc về$\alpha$ là$T_{\alpha}$ và số lượng mẫu mà thực sự thuộc về$\alpha$ là$T_{\alpha} + F_{\beta}$. Lượng mẫu được xác định một cách chính xác như không thuộc $\alpha$ là $T_{\beta}$ và số lượng mẫu thực sự không thuộc $\alpha$ là T β và số lượng mẫu thực sự thuộc beta là T β + F α . Lượng mẫu được xác định một cách chính xác như không thuộc beta$T_{\beta} + F_{\alpha}$ . Điều này cho phép chúng ta nhạy và độ đặc hiệu cho$\alpha$ nhưng chúng ta cũng có thể áp dụng điều tương tự với lớp$\beta$ . Lượng mẫu được xác định một cách chính xác là thuộc về$\beta$ được là T$T_{\beta}$$\beta$$T_{\beta} + F_{\alpha}$$\beta$$T_{\alpha}$ và số lượng mẫu thực sự không thuộc$\beta$là$T_{\alpha} + F_{\beta}$ . Do đó, chúng tôi có được độ nhạy và độ đặc hiệu cho mỗi lớp:

$$\begin{align*} sensitivity_{\alpha} := \frac{T_{\alpha}}{T_{\alpha}+F_{\beta}} \\ specificity_{\alpha} := \frac{T_{\beta}}{T_{\beta} + F_{\alpha}} \\ sensitivity_{\beta} := \frac{T_{\beta}}{T_{\beta}+F_{\alpha}} \\ specificity_{\beta} := \frac{T_{\alpha}}{T_{\alpha} + F_{\beta}} \\ \end{align*}$$

Tuy nhiên chúng tôi nhận thấy rằng $sensitivity_{\alpha} = specificity_{\beta}$ và $specificity_{\alpha} = sensitivity_{\beta}$. Điều này có nghĩa là nếu chúng ta chỉ có hai lớp, chúng ta không cần độ nhạy và độ đặc hiệu cho mỗi lớp.

Phân loại N-Ary

Độ nhạy và độ đặc hiệu cho mỗi lớp không hữu ích nếu chúng ta chỉ có hai lớp, nhưng chúng ta có thể mở rộng nó thành nhiều lớp. Độ nhạy và độ đặc hiệu được định nghĩa là:

$$\begin{align*} \text{sensitivity} := \frac{\text{true positives}}{\text{true positives} + \text{false negatives}} \\ \text{specificity} := \frac{\text{true negatives}}{\text{true negatives} + \text{false-positives}} \\ \end{align*}$$

$T_{n}$$\sum_{i}(F_{n,i})$$\sum_{i}(F_{i,n})$$n$$\sum_{i}(T_{i}) - T(n)$$n$$n$$\sum_{i}(\sum_{k}(F_{i,k}))$$n$$n$$\sum_{i}(F_{n,i})$$n$$\sum_{i}(F_{i,n})$$\sum_{i}(T_{i}) - T(n) + \sum_{i}(\sum_{k}(F_{n,i})) - \sum_{i}(F_{n,i}) - \sum_{i}(F_{i,n})$. Tóm lại, chúng tôi có:

$$\begin{align*} \text{true positives} := T_{n} \\ \text{true negatives} := \sum_{i}(T_{i}) - T(n) + \sum_{i}(\sum_{k}(F_{n,i})) - \sum_{i}(F_{n,i}) - \sum_{i}(F_{i,n}) \\ \text{false positives} := \sum_{i}(F_{i,n}) \\ \text{false negatives} := \sum_{i}(F_{n,i}) \end{align*}$$

$$\begin{align*} sensitivity(n) := \frac{T_{n}}{T_{n} + \sum_{i}(F_{n,i})} \\ specificity(n) := \frac{\sum_{i}(T_{i}) - T_{n} + \sum_{i}(\sum_{k}(F_{i,k})) - \sum_{i}(F_{n,i}) - \sum_{i}(F_{i,n})}{\sum_{i}(T_{i}) - T_{n} + \sum_{i}(\sum_{k}(F_{i,k})) - \sum_{i}(F_{n,i})} \end{align*}$$

Giới thiệu niềm tin

$confidence^{\top}$$T_{n} + \sum_{i}(F_{i,n})$$n$$T_{n}$

$$\begin{align*} confidence^{\top}(n) := \frac{T_{n}}{T_{n}+\sum_{i}(F_{i,n})} \end{align*}$$

$confidence^{\bot}$$n$$n$

$\sum_{i}(\sum_{k}(F_{i,k})) - \sum_{i}(F_{i,n}) + \sum_{i}(T_{i}) - T_{n}$$\sum_{i}(F_{n,i})$

$$\begin{align*} confidence^{\bot}(n) = \frac{\sum_{i}(\sum_{k}(F_{i,k})) - \sum_{i}(F_{i,n}) + \sum_{i}(T_{i}) - T_{n}-\sum_{i}(F_{n,i})}{\sum_{i}(\sum_{k}(F_{i,k})) - \sum_{i}(F_{i,n}) + \sum_{i}(T_{i}) - T_{n}} \end{align*}$$

Các lớp mất cân bằng trong tập dữ liệu của bạn

Nói ngắn gọn: hãy tưởng tượng, 99% của một lớp (nói táo) và 1% của một lớp khác nằm trong tập dữ liệu của bạn (nói chuối). Thuật toán siêu lừa đảo của tôi có độ chính xác đáng kinh ngạc 99% cho tập dữ liệu này, hãy kiểm tra xem:

return "it's an apple"

Anh ta sẽ đúng 99% thời gian và do đó có được độ chính xác 99%. Tôi có thể bán cho bạn thuật toán của tôi?

Giải pháp: không sử dụng thước đo tuyệt đối (độ chính xác) mà là thước đo tương đối với từng lớp (có rất nhiều, như ROC AUC)

Câu trả lời của DaL chính xác là thế này. Tôi sẽ minh họa nó bằng một ví dụ rất đơn giản về ... bán trứng.

$2$$1$

$2$$1$

Nếu trình phân loại của bạn không có lỗi, thì bạn sẽ có được doanh thu tối đa bạn có thể mong đợi. Nếu nó không hoàn hảo, thì:

• $1$
• $1$

Sau đó, độ chính xác của trình phân loại của bạn chính xác là mức độ gần với doanh thu tối đa của bạn. Đó là biện pháp hoàn hảo.

$a$

• $a$
• $2-a$

$a=0.001$$2$$0.001$

Ví dụ, nếu trình phân loại là tìm các tài liệu liên quan trong cơ sở dữ liệu, thì bạn có thể so sánh "lãng phí" bao nhiêu thời gian để đọc một tài liệu không liên quan được so sánh với việc tìm tài liệu liên quan.

Độ chính xác phân loại là số lượng dự đoán đúng chia cho tổng số dự đoán.

Độ chính xác có thể gây hiểu nhầm. Ví dụ, trong một vấn đề có sự mất cân bằng lớp lớn, một mô hình có thể dự đoán giá trị của lớp đa số cho tất cả các dự đoán và đạt được độ chính xác phân loại cao. Vì vậy, các biện pháp hiệu suất tiếp theo là cần thiết như điểm F1 và điểm Brier.

$R^2$

$R^2$ có thể có nghĩa là bạn đang mô hình nhiễu chứ không phải tín hiệu, độ chính xác cao có thể là cờ đỏ mà mô hình của bạn áp dụng quá cứng nhắc cho tập dữ liệu thử nghiệm của bạn và không có khả năng áp dụng chung. Điều này đặc biệt có vấn đề khi bạn có các loại phân loại mất cân bằng cao. Mô hình chính xác nhất có thể là một mô hình tầm thường, phân loại tất cả dữ liệu thành một loại (với độ chính xác bằng tỷ lệ của loại thường xuyên nhất), nhưng độ chính xác này sẽ giảm một cách ngoạn mục nếu bạn cần phân loại dữ liệu với phân loại thực sự khác nhau .

Như những người khác đã lưu ý, một vấn đề khác với độ chính xác là sự thờ ơ ngầm đối với giá của sự thất bại - tức là một giả định rằng tất cả các phân loại sai đều bằng nhau. Trong thực tế, chúng không phải và chi phí cho việc phân loại sai phụ thuộc rất nhiều vào chủ đề và bạn có thể thích giảm thiểu một loại sai cụ thể hơn là tối đa hóa độ chính xác.