Mất chức năng cho phân loại đa nhãn phân cấp?

Tôi đang tìm cách thử các hàm mất khác nhau cho một vấn đề phân loại đa nhãn phân cấp. Cho đến nay, tôi đã được đào tạo các mô hình hoặc mô hình con khác nhau như nhánh đa giác (MLP) bên trong một mô hình lớn hơn liên quan đến các mức phân loại khác nhau, mang lại một vectơ nhị phân. Tôi cũng đã sử dụng Binary Cross Entopy (BCE) và tổng hợp tất cả các tổn thất hiện có trong mô hình trước khi truyền bá.

Tôi đang xem xét thử các khoản lỗ khác như MultiLabelSoftMarginLoss và MultiLabelMarginLoss. Những chức năng mất mát nào khác đáng để thử? Hamming mất có lẽ hoặc một biến thể? Là tốt hơn để tổng hợp tất cả các tổn thất và backpropagate hoặc thực hiện nhiều backpropagations?

Hàm mất, ngoại trừ trong trường hợp tầm thường nhất của đầu ra mạng một chiều, bản thân nó là một tập hợp. Các hàm mất tổng hợp chỉ là một cách tiếp cận để tạo ra tổn thất vô hướng từ sự khác biệt trong nhiều chiều và có thể là quá phức tạp.

Nếu lớp khái niệm là một hệ thống phân cấp có ba cấp độ, thì hàm mất mát là tổng hợp các khác biệt xảy ra trong không gian một, hai hoặc ba chiều, dựa trên việc các phân chia trong mỗi loại có giống nhau trong toàn bộ phân cấp hay không. Nếu có ba kích thước nhãn, chúng độc lập thống kê và mỗi trạng thái có ba trạng thái, thì có 27 loại có thể được biểu thị trong ba đầu ra thứ ba.

Thử một số tùy chọn chức năng mất có sẵn trong Torch.nn.modules.loss là một cách để tìm giải pháp tốt nhất trong PyTorch, nhưng có thể chọn sai vì các tham số siêu không được đặt chính xác trong lựa chọn tốt hơn. Hoặc các nhãn có thể được ánh xạ không chính xác đến chức năng mất hiệu suất kém.

Có thể quá phức tạp hóa giải pháp để nhúng một mô hình vào mô hình khác khi việc phân loại theo nhiều chiều với một mạng duy nhất là phổ biến. Lấy một trường hợp đơn giản.

Giả sử có một thứ nguyên loại gồm bốn dấu ngoặc tuổi, một loại trang phục khác (bình thường, kinh doanh bình thường, trang trọng, không xác định) và một phần ba tám nền văn hóa bao gồm không xác định. Mục tiêu là phân loại hình ảnh từ đầu đến chân dựa trên hàng đợi kiểu mặt, tóc và quần áo với một số độ tin cậy cụ thể.

Trong trường hợp này, ngoài các lớp chập thích hợp, gộp chung và các lớp được kết nối đầy đủ, lớp đầu ra mạng có thể có hai đầu ra nhị phân cho tuổi, hai cho trang phục và ba cho nền văn hóa.

Sự phức tạp xảy ra khi các loại trang phục khác nhau giữa các nền văn hóa. Trong trường hợp này, năm bit có thể xác định tổng hợp các loại trang phục và nền văn hóa, nhưng phát triển các mạng riêng biệt, một mạng cho mỗi loại văn hóa có thể là quá mức cần thiết.

Ánh xạ kích thước của nhãn vào vector đầu ra phải là trọng tâm của sự chú ý. Entropy là một khái niệm áp dụng cho lựa chọn hàm mất, nhưng ý tưởng là căn chỉnh entropy âm đồng đều với các thành phần vectơ đầu ra, để thông tin được phân bổ đều trên các thành phần vectơ.