Làm thế nào để phân loại được hợp nhất trong một bộ phân loại đồng bộ?

Làm thế nào để một bộ phân loại đồng bộ hợp nhất các dự đoán của các bộ phân loại cấu thành của nó? Tôi đang gặp khó khăn trong việc tìm kiếm một mô tả rõ ràng. Trong một số ví dụ mã tôi đã tìm thấy, toàn bộ chỉ tính trung bình các dự đoán, nhưng tôi không thấy làm thế nào điều này có thể làm cho độ chính xác tổng thể "tốt hơn".

Hãy xem xét trường hợp sau đây. Một bộ phân loại tập hợp bao gồm 10 phân loại. Một bộ phân loại có độ chính xác 100% thời gian trong tập hợp dữ liệu X và 0% tất cả các lần khác. Tất cả các phân loại khác có độ chính xác 0% trong tập hợp dữ liệu X và 100% tất cả các lần khác.

Sử dụng một công thức tính trung bình, trong đó độ chính xác của bộ phân loại bị bỏ qua, bộ phân loại đồng bộ sẽ có độ chính xác cao nhất là 50%. Điều này có đúng không, hay tôi đang thiếu thứ gì đó? Làm thế nào có thể lấy dự đoán trung bình từ N phân loại có khả năng không biết gì có thể tạo ra dự đoán tốt hơn sau đó một phân loại duy nhất đó là một chuyên gia trong một miền cụ thể?

Tôi đọc một ví dụ rõ ràng từ Giới thiệu về Khai thác dữ liệu của Tan et al.

Ví dụ tuyên bố rằng nếu bạn kết hợp các trình phân loại của mình với một hệ thống bỏ phiếu, đó là phân loại một bản ghi với lớp được bình chọn nhiều nhất, bạn sẽ có được hiệu suất tốt hơn. Tuy nhiên, ví dụ này sử dụng trực tiếp nhãn đầu ra của các phân loại và không phải là dự đoán (tôi nghĩ bạn có nghĩa là xác suất).

$e = 1 - \mbox{accuracy} = 0.35$

Sử dụng dự đoán trực tiếp và sử dụng như một phương pháp kết hợp ở mức trung bình, tôi nghĩ rằng có thể khó khăn hơn một chút để thể hiện sự ngẫu hứng trong hiệu suất của bộ đồng phục. Tuy nhiên, chỉ tập trung vào các dự đoán và không quan tâm đến nhãn đầu ra của nhóm, tính trung bình nhiều dự đoán hơn có thể được xem như một công cụ ước tính của xác suất thực. Do đó, việc thêm các phân loại nên cải thiện dự đoán của kỹ thuật hòa tấu.

Bạn đang thiếu thực tế là trình phân loại "xấu" không có độ chính xác 0%, thay vào đó, nó không tốt hơn đáng kể so với đoán ngẫu nhiên.

Cách này dự đoán tốt luôn giống nhau và tích lũy (vì sự thật chỉ là một) trong khi dự đoán xấu là tiếng ồn ngẫu nhiên trung bình.

Trong trường hợp phân loại nói chung, có hai cách để đưa ra dự đoán. Hãy nói rằng đó là một vấn đề phân loại lớp nhị phân và bạn có 3 mô hình để gọi là m1, m2 và m3 và tập dữ liệu huấn luyện được gọi là tập dữ liệu thử nghiệm và thử nghiệm được gọi là test.Models đã được xây dựng trên train. Sau đó, mã python sẽ như sau.

Phương pháp đầu tiên là lấy một vòng trung bình

pred=round([m1.predict(test)+m2.predict(test)+m3.predict(test)]/3) 

Vì vậy, đầu ra sẽ là một vectơ giá trị 0 và 1

Phương pháp thứ hai là tập hợp xác suất dự đoán của từng lớp từ các mô hình này và tập hợp điều đó và sau đó quyết định lớp dựa trên ngưỡng cứng hoặc logic nào đó.

pred_proba=[m1.predict(test).predict_proba++ m2.predict(test).predict_proba 
+m3.predict(test).predict_proba]/3 
# Simple average ensemble,however you can try weighted average as well

Lặp lại qua toàn bộ vectơ pre_proba để tìm cái nào trong 0 và cái nào là 1 dựa trên ngưỡng cứng 0,5

pred=[] # Initialize a blank list for prediction

for x in pred_proba:
 if x>0.5:
   pred.append[1]
 else:
   pred.append[0]

Vì vậy, trước là dự đoán cuối cùng.