So sánh hai kết quả chính xác của phân loại cho ý nghĩa thống kê với kiểm tra t

Tôi muốn so sánh độ chính xác của hai phân loại cho ý nghĩa thống kê. Cả hai phân loại được chạy trên cùng một tập dữ liệu. Điều này khiến tôi tin rằng tôi nên sử dụng một bài kiểm tra mẫu từ những gì tôi đã đọc .

Ví dụ:

Classifier 1: 51% accuracy
Classifier 2: 64% accuracy
Dataset size: 78,000

Đây có phải là thử nghiệm đúng để sử dụng? Nếu vậy làm thế nào để tôi tính toán nếu sự khác biệt về độ chính xác giữa phân loại là đáng kể?

Hay tôi nên sử dụng một bài kiểm tra khác?

Tôi có thể chọn tham gia bài kiểm tra của McNemar nếu bạn chỉ đào tạo các trình phân loại một lần. David Barber cũng gợi ý một bài kiểm tra Bayes khá gọn gàng có vẻ khá tao nhã đối với tôi, nhưng không được sử dụng rộng rãi (nó cũng được đề cập trong cuốn sách của ông ).

Nói thêm, như Peter Flom nói, câu trả lời gần như chắc chắn là "có" chỉ bằng cách nhìn vào sự khác biệt về hiệu suất và kích thước của mẫu (tôi lấy các số liệu được trích dẫn là hiệu suất của bộ thử nghiệm thay vì hiệu suất của bộ huấn luyện).

Tình cờ Japkowicz và Shah có một cuốn sách gần đây về "Đánh giá thuật toán học tập: Quan điểm phân loại" , tôi chưa đọc nó, nhưng có vẻ như là một tài liệu tham khảo hữu ích cho các loại vấn đề này.

Tôi có thể nói với bạn, thậm chí không cần chạy bất cứ thứ gì, rằng sự khác biệt sẽ có ý nghĩa thống kê cao. Nó vượt qua IOTT (bài kiểm tra chấn thương nội nhãn - nó đập vào mắt bạn).

Tuy nhiên, nếu bạn muốn làm một bài kiểm tra, bạn có thể làm một bài kiểm tra theo hai tỷ lệ - điều này có thể được thực hiện với một bài kiểm tra hai mẫu.

Tuy nhiên, bạn có thể muốn chia "độ chính xác" thành các thành phần của nó; độ nhạy và độ đặc hiệu, hoặc dương tính giả và âm tính giả. Trong nhiều ứng dụng, chi phí cho các lỗi khác nhau là khá khác nhau.

Vì độ chính xác, trong trường hợp này là tỷ lệ mẫu được phân loại chính xác, chúng tôi có thể áp dụng thử nghiệm giả thuyết liên quan đến một hệ thống có hai tỷ lệ.

$\hat p_1$$\hat p_2$$n$$x_1$$x_2$

$\hat p_1 = x_1/n,\quad \hat p_2 = x_2/n$

Thống kê kiểm tra được đưa ra bởi

$\displaystyle Z = \frac{\hat p_1 - \hat p_2}{\sqrt{2\hat p(1 -\hat p)/n}}\qquad$ Ở đâu $\quad\hat p= (x_1+x_2)/2n$

$p_2$$p_1$

• $H_0: p_1 = p_2\quad$ (giả thuyết không nêu cả hai đều bằng nhau)
• $H_a: p_1 < p_2\quad$ (giả thuyết thay thế tuyên bố cái mới hơn là tốt hơn cái hiện có)

Vùng loại bỏ được đưa ra bởi

$Z < -z_\alpha \quad$$H_0$$H_a$

$z_\alpha$$\alpha$$z_{0.5} = 1.645$$Z < -1.645$$1-\alpha$

Người giới thiệu:

1. Số liệu thống kê và xác suất của R. Johnson và J. Freund, Miller và Freund dành cho kỹ sư, Ed 8. Prentice Hall International, 2011. (Nguồn chính)
2. Kiểm tra tóm tắt công thức giả thuyết-súc tích . (Thông qua từ [1])