Giá trị trung bình (điểm) so với Điểm (ghép) trong xác thực chéo

TLDR:

Tập dữ liệu của tôi là khá nhỏ (120) mẫu. Trong khi thực hiện xác nhận chéo 10 lần, tôi nên:

1. Thu thập các kết quả đầu ra từ mỗi lần kiểm tra, ghép chúng thành một vectơ và sau đó tính toán sai số trên vectơ đầy đủ của dự đoán này (120 mẫu)?

2. Hoặc thay vào đó tôi nên tính toán sai số trên các đầu ra tôi nhận được trên mỗi lần gấp (với 12 mẫu trên mỗi lần), và sau đó lấy ước tính lỗi cuối cùng của tôi là trung bình của ước tính lỗi 10 lần?

Có bài báo khoa học nào tranh luận về sự khác biệt giữa các kỹ thuật này không?

Bối cảnh: Mối quan hệ tiềm năng với điểm số Macro / Micro trong phân loại đa nhãn:

Tôi nghĩ rằng câu hỏi này có thể liên quan đến sự khác biệt giữa trung bình vi mô và vĩ mô thường được sử dụng trong tác vụ phân loại nhiều nhãn (ví dụ: 5 nhãn).

Trong cài đặt đa nhãn, điểm trung bình vi mô được tính bằng cách lập bảng dự phòng tổng hợp gồm dương thực, dương dương tính, âm tính thật, âm tính giả cho cả 5 dự đoán phân loại trên 120 mẫu. Bảng dự phòng này sau đó được sử dụng để tính toán độ chính xác vi mô, thu hồi vi mô và vi đo f. Vì vậy, khi chúng tôi có 120 mẫu và năm phân loại, các biện pháp vi mô được tính toán trên 600 dự đoán (120 mẫu * 5 nhãn).

Khi sử dụng biến thể Macro , người ta sẽ tính toán các biện pháp (độ chính xác, thu hồi, v.v.) một cách độc lập trên mỗi nhãn và cuối cùng, các biện pháp này được tính trung bình.

Ý tưởng đằng sau sự khác biệt giữa các ước tính vi mô và vĩ mô có thể được mở rộng thành những gì có thể được thực hiện trong cài đặt K-Fold trong một vấn đề phân loại nhị phân. Trong 10 lần, chúng ta có thể lấy trung bình trên 10 giá trị (số đo Macro ) hoặc nối 10 thí nghiệm và tính toán các biện pháp vi mô .

Bối cảnh - Ví dụ mở rộng:

Ví dụ sau minh họa cho câu hỏi. Giả sử chúng ta có 12 mẫu thử nghiệm và chúng ta có 10 lần:

• Gấp 1 : TP = 4, FP = 0, TN = 8 Chính xác = 1.0
• Gấp 2 : TP = 4, FP = 0, TN = 8 Chính xác = 1.0
• Gấp 3 : TP = 4, FP = 0, TN = 8 chính xác = 1,0
• Gấp 4 : TP = 0, FP = 12, Chính xác = 0
• Gấp 5 .. Gấp 10 : Tất cả đều có cùng TP = 0, FP = 12 và Chính xác = 0

nơi tôi đã sử dụng ký hiệu sau:

TP = # của tích cực thực, FP = # sai tích cực, TN = # của âm tính thực

Kết quả là:

• Độ chính xác trung bình trên 10 lần = 3/10 = 0,3
• Độ chính xác về kết hợp các dự đoán của 10 lần = TP / TP + FP = 12/12 + 84 = 0.125

Lưu ý rằng các giá trị 0,3 và 0,125 rất khác nhau !

Sự khác biệt được mô tả là IMHO không có thật.

Bạn sẽ chỉ quan sát nó nếu phân phối các trường hợp thực sự tích cực (tức là phương pháp tham chiếu nói rằng đó là trường hợp tích cực) rất không đồng đều trên các nếp gấp (như trong ví dụ) và số lượng các trường hợp thử nghiệm có liên quan (mẫu số của thước đo hiệu suất chúng ta đang nói đến, ở đây thực sự tích cực) không được tính đến khi tính trung bình các đường trung bình gấp.

$\frac{4}{12} = \frac{1}{3}$ (vì có 4 trường hợp thử nghiệm trong tổng số 12 trường hợp có liên quan để tính độ chính xác) và trung bình 6 lần cuối cùng với 1 (tất cả các trường hợp thử nghiệm liên quan đến tính toán chính xác), trung bình có trọng số hoàn toàn giống bạn ' d nhận được từ việc gộp các dự đoán của 10 lần và sau đó tính toán độ chính xác.

chỉnh sửa: câu hỏi ban đầu cũng được hỏi về việc lặp / lặp lại xác nhận:

$k$

• Làm thế nào nhiều dự đoán thay đổi nếu dữ liệu đào tạo bị nhiễu loạn bằng cách trao đổi một vài mẫu đào tạo?
• Tức là, dự đoán của các mô hình "thay thế" khác nhau bao nhiêu cho cùng một mẫu thử nghiệm?

Bạn đã yêu cầu các bài báo khoa học :

• thuật ngữ tìm kiếm được lặp lại hoặc lặp lại xác nhận chéo.
• Giấy tờ có nội dung "bạn nên làm điều này":
  
  • Nhân đôi, ER; Sima, C.; Hoa, J.; Hanczar, B. & Braga-Neto, UM: Hiệu suất của các công cụ ước tính lỗi để phân loại tin sinh học hiện tại, 2010, 5, 53-67. là một điểm khởi đầu tốt.
  • Đối với dữ liệu phổ, tôi đã thực hiện một số mô phỏng Beleites, C.; Baumgartner, R.; Bowman, C.; Somorjai, R.; Steiner, G.; Salzer, R. & Sowa, MG: Giảm phương sai trong việc ước tính lỗi phân loại bằng cách sử dụng bộ dữ liệu thưa thớt. Chem.Intell.Lab.Syst., 2005, 79, 91 - 100.
    in sẵn
• Tôi sử dụng nó thường xuyên, ví dụ Beleites, C.; Geiger, K.; Kirsch, M.; Sobottka, SB; Schackert, G. & Salzer, R.: Raman phân loại phổ mô tế bào hình sao: sử dụng thông tin tham khảo mềm.Anal Bioanal Chem, 2011, 400, 2801-2816

Đánh giá thấp phương sai Cuối cùng, tập dữ liệu của bạn có cỡ mẫu hữu hạn (n = 120), bất kể bạn có bao nhiêu lần lặp lại bootstrap hoặc xác thực chéo.

• Bạn có (ít nhất) 2 nguồn phương sai trong kết quả xác thực lại (xác thực chéo và ngoài bootstrap):

  • phương sai do số lượng hữu hạn của mẫu (thử nghiệm)
  • phương sai do sự không ổn định của các dự đoán của các mô hình thay thế

• Nếu mô hình của bạn ổn định, thì

  • $k$
  • Tuy nhiên, ước tính hiệu suất vẫn có thể thay đổi do số lượng mẫu thử hữu hạn.
  • Nếu cấu trúc dữ liệu của bạn là "đơn giản" (nghĩa là một vectơ đo lường duy nhất cho từng trường hợp độc lập thống kê), bạn có thể giả sử rằng kết quả kiểm tra là kết quả của quy trình Bernoulli (ném đồng xu) và tính toán phương sai kiểm tra hữu hạn.

• $\frac{n}{k}$
  

Bạn nên làm điểm số (nối). Đó là một quan niệm sai lầm phổ biến trong lĩnh vực có nghĩa là (điểm số) là cách tốt nhất. Nó có thể giới thiệu nhiều thành kiến ​​hơn vào ước tính của bạn, đặc biệt là về các lớp hiếm, như trong trường hợp của bạn. Đây là một bài báo ủng hộ điều này:

http://www.kdd.org/explor_files/v12-1-p49-forman-sigkdd.pdf

Trong bài báo, họ sử dụng "Favg" thay cho "trung bình (điểm)" và "Ftp, fp" thay cho "điểm số (ghép)" của bạn

Ví dụ về đồ chơi:

Hãy tưởng tượng rằng bạn có xác nhận chéo 10 lần và một lớp xuất hiện 10 lần và tình cờ được chỉ định để nó xuất hiện một lần trong mỗi lần. Ngoài ra, lớp luôn được dự đoán chính xác nhưng có một dữ liệu dương tính duy nhất trong dữ liệu. Nếp gấp thử nghiệm chứa dương tính giả sẽ có độ chính xác 50%, trong khi tất cả các nếp gấp khác sẽ có 100%. Vậy avg (điểm) = 95%. Mặt khác, điểm số (ghép) là 10/11, khoảng 91%.

Nếu chúng tôi giả định rằng dân số thực được biểu thị bằng dữ liệu và 10 phân loại xác thực chéo đại diện tốt cho phân loại cuối cùng, thì độ chính xác trong thế giới thực sẽ là 91% và ước tính 95% của avg là sai lệch .

Trong thực tế, bạn sẽ không muốn đưa ra những giả định đó. Thay vào đó, bạn có thể sử dụng số liệu thống kê phân phối để ước tính độ tin cậy, bằng cách cho phép ngẫu nhiên dữ liệu và tính toán lại điểm số (nối) nhiều lần, cũng như bootstrapping.