Tăng số lượng tính năng dẫn đến giảm độ chính xác nhưng tăng / thu hồi trước

Tôi chưa quen với Machine Learning. Hiện tại tôi đang sử dụng trình phân loại Naive Bayes (NB) để phân loại các văn bản nhỏ trong 3 lớp là dương, âm hoặc trung tính, sử dụng NLTK và python.

Sau khi tiến hành một số thử nghiệm, với bộ dữ liệu gồm 300.000 trường hợp (16.924 dương tính 7.477 âm và 275.599 trung tính) Tôi thấy rằng khi tôi tăng số lượng tính năng, độ chính xác sẽ giảm nhưng độ chính xác / thu hồi đối với các lớp dương và âm tăng lên. Đây có phải là một hành vi bình thường cho một bộ phân loại NB? Chúng ta có thể nói rằng sẽ tốt hơn nếu sử dụng nhiều tính năng hơn không?

Một số dữ liệu:

Features: 50    
Accuracy: 0.88199
F_Measure Class Neutral 0.938299
F_Measure Class Positive 0.195742
F_Measure Class Negative 0.065596

Features: 500   
Accuracy: 0.822573
F_Measure Class Neutral 0.904684
F_Measure Class Positive 0.223353
F_Measure Class Negative 0.134942

Cảm ơn trước...

Chỉnh sửa 2011/11/26

Tôi đã thử nghiệm 3 chiến lược lựa chọn tính năng khác nhau (MAXFREQ, FREQENT, MAXINFOGAIN) với trình phân loại Naive Bayes. Đầu tiên ở đây là Độ chính xác và Các biện pháp F1 cho mỗi lớp:

Sau đó, tôi đã vạch ra lỗi tàu và lỗi kiểm tra với tập huấn luyện tăng dần, khi sử dụng MAXINFOGAIN với 100 tính năng hàng đầu và 1000 tính năng hàng đầu:

Vì vậy, đối với tôi, mặc dù độ chính xác cao nhất đạt được với FREQENT, nhưng trình phân loại tốt nhất là sử dụng MAXINFOGAIN, điều này có đúng không? Khi sử dụng 100 tính năng hàng đầu, chúng tôi có sai lệch (lỗi kiểm tra gần với lỗi đào tạo) và việc thêm nhiều ví dụ đào tạo sẽ không giúp ích gì. Để cải thiện điều này, chúng tôi sẽ cần nhiều tính năng hơn. Với 1000 tính năng, độ lệch sẽ giảm nhưng lỗi tăng ... Điều này có ổn không? Tôi có cần thêm nhiều tính năng không? Tôi thực sự không biết làm thế nào để giải thích điều này ...

Cảm ơn một lần nữa ...

Độ chính xác so với F-đo

Trước hết, khi bạn sử dụng một số liệu, bạn nên biết cách chơi nó. Độ chính xác đo lường tỷ lệ của các trường hợp được phân loại chính xác trên tất cả các lớp. Điều đó có nghĩa là, nếu một lớp xảy ra thường xuyên hơn một lớp khác, thì độ chính xác kết quả bị chi phối rõ ràng bởi độ chính xác của lớp thống trị. Trong trường hợp của bạn nếu một người xây dựng Mô hình M chỉ dự đoán "trung tính" cho mọi trường hợp, thì độ chính xác sẽ là

$acc=\frac{neutral}{(neutral + positive + negative)}=0.9188$

Tốt, nhưng vô dụng.

Vì vậy, việc bổ sung các tính năng rõ ràng đã cải thiện sức mạnh của NB để phân biệt các lớp, nhưng bằng cách dự đoán "tích cực" và "tiêu cực", người ta sẽ phân loại sai các trung tính và do đó độ chính xác đi xuống (nói đại khái). Hành vi này độc lập với NB.

Nhiều hay ít tính năng?

Nói chung, tốt hơn là sử dụng nhiều tính năng hơn, nhưng sử dụng các tính năng phù hợp. Nhiều tính năng hơn là tốt hơn khi thuật toán lựa chọn tính năng có nhiều lựa chọn hơn để tìm tập hợp con tối ưu (tôi đề nghị khám phá: lựa chọn tính năng của crossvalidated ). Khi nói đến NB, một cách tiếp cận nhanh và chắc chắn (nhưng ít hơn tối ưu) là sử dụng InformationGain (Tỷ lệ) để sắp xếp các tính năng theo thứ tự giảm dần và chọn k hàng đầu.

Một lần nữa, lời khuyên này (trừ InformationGain) không phụ thuộc vào thuật toán phân loại.

EDIT 27.11.11

Đã có rất nhiều nhầm lẫn về sai lệch và phương sai để chọn đúng số lượng tính năng. Do đó, tôi khuyên bạn nên đọc những trang đầu tiên của hướng dẫn này: Sự đánh đổi Bias-Variance . Bản chất chính là:

• Xu hướng cao có nghĩa là, mô hình ít hơn tối ưu, nghĩa là lỗi kiểm tra cao (thiếu, như Simone đưa ra)
• Phương sai cao có nghĩa là, mô hình rất nhạy cảm với mẫu được sử dụng để xây dựng mô hình . Điều đó có nghĩa là, lỗi phụ thuộc rất nhiều vào tập huấn luyện được sử dụng và do đó phương sai của lỗi (được đánh giá qua các nếp gấp chéo khác nhau) sẽ cực kỳ khác nhau. (quá mức)

Các đường cong học tập được vẽ thực sự chỉ ra Bias, vì lỗi được vẽ. Tuy nhiên, thứ bạn không thể nhìn thấy là Phương sai, vì khoảng tin cậy của lỗi không được vẽ ở tất cả.

Ví dụ: Khi thực hiện Crossvalidation 3 lần 6 lần (có, nên lặp lại với phân vùng dữ liệu khác nhau, Kohavi gợi ý 6 lần lặp lại), bạn nhận được 18 giá trị. Bây giờ tôi mong đợi rằng ...

• Với một số lượng nhỏ các tính năng, sai số trung bình (độ lệch) sẽ thấp hơn, tuy nhiên, phương sai của lỗi (trong số 18 giá trị) sẽ cao hơn.
• với số lượng tính năng cao, sai số trung bình (độ lệch) sẽ cao hơn, nhưng phương sai của lỗi (trong số 18 giá trị) thấp hơn.

Hành vi của lỗi / sai lệch này chính xác là những gì chúng ta thấy trong các ô của bạn. Chúng ta không thể đưa ra tuyên bố về phương sai. Các đường cong gần nhau có thể là một dấu hiệu cho thấy tập kiểm tra đủ lớn để thể hiện các đặc điểm giống như tập huấn luyện và do đó sai số đo có thể đáng tin cậy, nhưng điều này (ít nhất là theo như tôi hiểu nó) không đủ để đưa ra tuyên bố về phương sai (của lỗi!).

Khi thêm ngày càng nhiều ví dụ đào tạo (giữ cố định kích thước của tập kiểm tra), tôi sẽ hy vọng rằng phương sai của cả hai phương pháp (số lượng nhỏ và số lượng lớn các tính năng) sẽ giảm.

Ồ, và đừng quên tính toán thông tin để lựa chọn tính năng chỉ sử dụng dữ liệu trong mẫu đào tạo! Một người được khuyến khích sử dụng dữ liệu hoàn chỉnh để lựa chọn tính năng và sau đó thực hiện phân vùng dữ liệu và áp dụng giá trị chéo, nhưng điều này sẽ dẫn đến việc thừa. Tôi không biết bạn đã làm gì, đây chỉ là một lời cảnh báo không bao giờ nên quên.

Để biết có hữu ích không khi sử dụng nhiều tính năng hơn, tôi sẽ vẽ các đường cong học tập. Tôi nghĩ rằng điều này được giải thích rõ ràng trong Đơn vị thứ 10 của lớp Machine Learning của Stanford, được đặt tên là "Lời khuyên cho việc áp dụng học máy", mà bạn có thể tìm thấy ở đây: http : //www.ml- class.org/cference/video/preview_list .

Vẽ các đường cong học tập bạn có thể hiểu nếu vấn đề của bạn là sai lệch cao hoặc phương sai cao. Miễn là bạn tăng số lượng ví dụ đào tạo, bạn nên vẽ lỗi đào tạo và lỗi kiểm tra (tức là độ chính xác 1), lỗi sau là lỗi phân loại của bạn được ước tính trên một tập dữ liệu khác. Nếu các đường cong này gần nhau, bạn có vấn đề sai lệch cao và có thể có ích khi chèn thêm các tính năng. Mặt khác, nếu các đường cong của bạn khá tách biệt miễn là bạn tăng số lượng ví dụ đào tạo, bạn có vấn đề về phương sai cao. Trong trường hợp này, bạn nên giảm số lượng tính năng bạn đang sử dụng.

Biên tập

$\lambda$

$\lambda$

$\lambda$

$\lambda=1$