Khi nào một người muốn sử dụng AdaBoost?


14

Như tôi đã nghe nói về trình phân loại AdaBoost được nhắc đến nhiều lần trong công việc, tôi muốn có cảm giác tốt hơn về cách thức hoạt động của nó và khi nào người ta có thể muốn sử dụng nó. Tôi đã đi trước và đọc một số bài báo và hướng dẫn về nó mà tôi tìm thấy trên Google, nhưng có những khía cạnh của trình phân loại mà tôi vẫn gặp khó khăn khi hiểu:

  1. Hầu hết các hướng dẫn tôi từng thấy nói về AdaBoost là tìm ra sự kết hợp có trọng số tốt nhất của nhiều phân loại. Điều này có ý nghĩa với tôi. Điều không có ý nghĩa là các triển khai (ví dụ MALLET) trong đó AdaBoost dường như chỉ chấp nhận một người học yếu. Làm thế nào điều này có ý nghĩa gì? Nếu chỉ có một trình phân loại được cung cấp cho AdaBoost, thì nó có nên trả lại cùng một trình phân loại có trọng số 1 không? Làm thế nào để nó tạo ra các phân loại mới từ phân loại đầu tiên?

  2. Khi nào một người thực sự muốn sử dụng AdaBoost? Tôi đã đọc rằng nó được coi là một trong những trình phân loại tốt nhất, nhưng khi tôi thử tăng trình phân loại MaxEnt, tôi đã nhận được điểm số 70% + với, AdaBoost giết chết nó và cho tôi f- thay vào đó, điểm số của 15% với độ thu hồi rất cao và độ chính xác rất thấp. Vì vậy, bây giờ tôi bối rối. Khi nào tôi muốn sử dụng AdaBoost? Tôi đang tìm kiếm nhiều hơn một câu trả lời thống kê trực quan hơn là nghiêm ngặt, nếu có thể.

Câu trả lời:


11

Adaboost có thể sử dụng nhiều phiên bản của cùng một phân loại với các tham số khác nhau. Do đó, một bộ phân loại tuyến tính trước đây có thể được kết hợp thành các bộ phân loại phi tuyến. Hoặc, như những người AdaBoost thích đặt nó, nhiều người học yếu có thể làm cho một người học mạnh mẽ. Một bức ảnh đẹp có thể được tìm thấy ở đây , trên dưới.

Về cơ bản, nó đi như với bất kỳ thuật toán học tập nào khác: trên một số bộ dữ liệu nó hoạt động, trên một số thuật toán thì không. Chắc chắn có bộ dữ liệu ngoài đó, nơi nó vượt trội. Và có lẽ bạn chưa chọn đúng người học yếu. Bạn đã thử hồi quy logistic chưa? Bạn có hình dung được ranh giới quyết định phát triển như thế nào trong quá trình thêm người học không? Có lẽ bạn có thể nói những gì đang xảy ra.


(+1). Nhận xét bổ sung: Ngay cả các tham số của người học yếu không khác nhau, hành vi (tức là những gì họ dự đoán) thay đổi khi cấu trúc của bộ dữ liệu (như được thực hiện trong việc tăng cường) thay đổi.
steffen

MaxEnt là hồi quy logistic. Hình dung làm thế nào ranh giới quyết định phát triển sẽ thực sự hữu ích. Làm thế nào một người có thể đi về làm điều đó? Ngoài ra, tôi vẫn không hiểu AdaBoost vẫn hoạt động như thế nào khi nó chỉ được cung cấp một bộ tính năng và một loại phân loại (như trong MALLET). Đối với tôi, điều này dường như hoàn toàn phản trực giác.
YuliaPro

Chỉ cần vẽ dữ liệu của bạn. Ngoài ra, hãy vẽ một lưới nơi bạn chọn một màu cho mỗi điểm theo cách hệ thống của bạn được phân loại. Điều này chỉ hoạt động tốt cho 2D, tôi đoán. Bạn vẫn có thể vẽ các trục quan trọng nhất hoặc một cái gì đó. Nếu bạn chỉ có một bộ tính năng và một bộ phân loại, nó sẽ giảm xuống chỉ còn một bộ phân loại. Tôi đã có ấn tượng, entropy tối đa đó là một mô hình và không phải là một phân loại cụ thể. Dù sao.
bayerj
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.