Mô hình học sâu nào có thể phân loại các danh mục không loại trừ lẫn nhau

Ví dụ: Tôi có một câu trong mô tả công việc: "Kỹ sư cao cấp Java ở Anh".

Tôi muốn sử dụng một mô hình học tập sâu để dự đoán nó thành 2 loại: English và IT jobs. Nếu tôi sử dụng mô hình phân loại truyền thống, nó chỉ có thể dự đoán 1 nhãn có softmaxchức năng ở lớp cuối cùng. Vì vậy, tôi có thể sử dụng 2 mạng nơ-ron mô hình để dự đoán "Có" / "Không" với cả hai loại, nhưng nếu chúng tôi có nhiều loại hơn thì quá đắt. Vì vậy, chúng ta có bất kỳ mô hình học tập sâu hoặc máy học để dự đoán 2 hoặc nhiều loại cùng một lúc?

"Chỉnh sửa": Với 3 nhãn theo cách tiếp cận truyền thống, nó sẽ được mã hóa theo [1,0,0] nhưng trong trường hợp của tôi, nó sẽ được mã hóa bởi [1,1,0] hoặc [1,1,1]

Ví dụ: nếu chúng ta có 3 nhãn và một câu có thể phù hợp với tất cả các nhãn này. Vậy nếu đầu ra từ hàm softmax là [0,45, 0,35, 0,2] chúng ta nên phân loại nó thành 3 nhãn hoặc 2 nhãn, hoặc có thể là một? vấn đề chính khi chúng ta làm điều đó là: ngưỡng tốt để phân loại thành 1, hoặc 2 hoặc 3 nhãn là gì?

Bạn có thể đạt được phân loại đa nhãn này bằng cách thay thế softmax bằng kích hoạt sigmoid và sử dụng crossentropy nhị phân thay vì crossentropy phân loại như hàm mất. Sau đó, bạn chỉ cần một mạng có nhiều đơn vị đầu ra / nơ ron như bạn có nhãn.

$i$$j$

$L_i = - \sum_j{t_{i,j} \log(p_{i,j})}$

$t_{i,j}=0$$L_i=-\sum_j{t_{i,j} \log(p_{i,j})} -\sum_j{(1 - t_{i,j}) \log(1 - p_{i,j})}$