Những thuật toán phân loại nào cần thử để phân loại dữ liệu văn bản thành 300 loại

Tôi có 40000 hàng dữ liệu văn bản của miền chăm sóc sức khỏe. Dữ liệu có một cột cho văn bản (2-5 câu) và một cột cho thể loại của nó. Tôi muốn phân loại nó thành 300 loại. Một số loại là độc lập trong khi một số có liên quan phần nào. Phân phối dữ liệu giữa các danh mục không đồng nhất, tức là một số danh mục (khoảng 40 trong số chúng) có ít dữ liệu hơn khoảng 2-3 hàng.

Tôi đang đính kèm xác suất đăng nhập của từng lớp / loại. (HOẶC phân phối các lớp học) ở đây.

Nói chung, một điểm khởi đầu tốt cho các vấn đề như thế này là phân loại Naive Bayes (NB) bằng cách sử dụng một mô hình từ đơn giản. Dưới đây là một số slide mô tả NB như được áp dụng để xử lý ngôn ngữ tự nhiên . Không có gì đặc biệt lạ mắt về phương pháp này, nhưng nó khá dễ thực hiện và sẽ cho bạn một điểm khởi đầu để mở rộng từ đó.

Khi bạn đã tìm thấy một số kết quả ban đầu giả định tính độc lập giữa các tính năng và nhãn đầu ra của bạn, có lẽ bạn sẽ có cảm giác tốt hơn về nơi mô hình yếu. Từ thời điểm đó trở đi, bạn có thể áp dụng một số kỹ thuật tính năng (có thể là TF-IDF ) cũng như một số xử lý bài để xử lý các mẫu được gán cho các danh mục liên quan.