Chức năng mất nào cho các nhiệm vụ phân loại đa lớp, đa nhãn trong các mạng thần kinh?

Tôi đang đào tạo một mạng lưới thần kinh để phân loại một tập hợp các đối tượng thành các lớp n. Mỗi đối tượng có thể thuộc nhiều lớp cùng một lúc (đa lớp, đa nhãn).

Tôi đọc rằng đối với các vấn đề đa lớp, thông thường nên sử dụng entropy chéo mềm và phân loại là hàm mất thay vì mse và tôi hiểu ít nhiều tại sao.

Đối với vấn đề đa nhãn của tôi, tất nhiên sẽ không có ý nghĩa gì khi sử dụng softmax vì mỗi xác suất của lớp phải độc lập với nhau. Vì vậy, lớp cuối cùng của tôi chỉ là các đơn vị sigmoid nén các đầu vào của chúng vào phạm vi xác suất 0..1 cho mỗi lớp.

Bây giờ tôi không chắc tôi nên sử dụng chức năng mất nào cho việc này. Nhìn vào định nghĩa của crossentropy phân loại tôi tin rằng nó sẽ không áp dụng tốt cho vấn đề này vì nó sẽ chỉ tính đến đầu ra của các nơ-ron nên là 1 và bỏ qua những cái khác.

Entropy chéo nhị phân nghe có vẻ phù hợp hơn, nhưng tôi chỉ thấy nó từng được đề cập cho các vấn đề phân loại nhị phân với một nơron đầu ra duy nhất.

Tôi đang sử dụng python và keras để huấn luyện trong trường hợp có vấn đề.

Nếu bạn đang sử dụng máy ảnh, chỉ cần đặt sigmoids trên lớp đầu ra và binary_crossentropy trên hàm chi phí của bạn.

Nếu bạn đang sử dụng tenorflow, thì có thể sử dụng sigmoid_cross_entropy_with_logits . Nhưng đối với trường hợp của tôi, hàm mất trực tiếp này không hội tụ. Vì vậy, tôi đã kết thúc bằng cách sử dụng mất entropy chéo sigmoid rõ ràng . Bạn có thể làm cho riêng mình như trong ví dụ này$(y \cdot \ln(\text{sigmoid}(\text{logits})) + (1-y) \cdot \ln(1-\text{sigmoid}(\text{logits})))$

Sigmoid, không giống như softmax không cung cấp phân phối xác suất xung quanh làm đầu ra, nhưng xác suất độc lập.$n_{classes}$

Nếu trung bình bất kỳ hàng nào được gán ít nhãn hơn thì bạn có thể sử dụng softmax_cross_entropy_with_logits vì với sự mất mát này trong khi các lớp loại trừ lẫn nhau, xác suất của chúng không cần phải có. Tất cả những gì được yêu cầu là mỗi hàng nhãn là phân phối xác suất hợp lệ. Nếu không, tính toán của gradient sẽ không chính xác.

CẬP NHẬT (18/04/18): Câu trả lời cũ vẫn tỏ ra hữu ích trên mô hình của tôi. Bí quyết là mô hình hóa chức năng phân vùng và phân phối riêng biệt, do đó khai thác sức mạnh của softmax.

Xem xét vector quan sát của bạn để chứa nhãn. (1 nếu mẫu i chứa nhãn m, 0 nếu không). Vì vậy, mục tiêu sẽ là mô hình hóa ma trận theo cách trên mỗi mẫu. Do đó mô hình đánh giá . Xem xét mở rộng để đạt được hai thuộc tính:$y$$m$$y_{im}=\delta_{im}$$F(y_i,x_i)=-\log P(y_i|x_i)$$y_{im}=Z\cdot P(y_m)$

1. Hàm phân phối:$\sum_m P(y_m) = 1$
2. Hàm phân vùng: ước tính số lượng nhãn$Z$

Sau đó, đó là vấn đề mô hình hóa hai cái riêng biệt. Hàm phân phối được mô hình hóa tốt nhất với lớp softmax và chức năng phân vùng có thể được mô hình hóa bằng một đơn vị tuyến tính (trong thực tế tôi đã cắt nó ở mức . Mô hình phức tạp hơn như đơn vị Poisson có thể hoạt động tốt hơn). Sau đó, bạn có thể chọn áp dụng tổn thất phân tán (KL trên phân phối và MSE trên phân vùng) hoặc bạn có thể thử mất sau trên sản phẩm của họ.$max(0.01,output)$

Trong thực tế, sự lựa chọn tối ưu hóa cũng tạo ra một sự khác biệt rất lớn. Kinh nghiệm của tôi với phương pháp tiếp cận nhân tố là nó hoạt động tốt nhất theo Adadelta (Adagrad không hoạt động với tôi, chưa thử RMSprop, các màn trình diễn của SGD tùy thuộc vào tham số).

Nhận xét bên lề về sigmoid : Tôi chắc chắn đã thử sigmoid + crossentropy và nó đã không hoạt động. Mô hình có xu hướng chỉ dự đoán và không thể nắm bắt được sự biến đổi trong chức năng phân phối. (aka, bằng cách nào đó nó khá hữu ích để mô hình hóa phân vùng và có thể có lý do toán học đằng sau nó)$Z$

CẬP NHẬT : (Suy nghĩ ngẫu nhiên) Có vẻ như sử dụng quy trình Dirichlet sẽ cho phép kết hợp một số trước về số lượng nhãn?

CẬP NHẬT : Bằng thử nghiệm, phân kỳ KL đã sửa đổi vẫn có xu hướng cung cấp đầu ra đa lớp thay vì đầu ra đa nhãn.

---

(Câu trả lời cũ)

Trải nghiệm của tôi với entropy chéo sigmoid không được dễ chịu cho lắm. Hiện tại tôi đang sử dụng phân kỳ KL đã được sửa đổi. Nó có hình thức

$$\begin{aligned} Loss(P,Q)&=\sum_x{|P(x)-Q(x)| \cdot \left|\log\frac{P(x)}{Q(x)}\right| } \\ &= \sum_x{\left| (P(x)-Q(x)) \cdot \log\frac{P(x)}{Q(x)}\right| } \end{aligned}$$ Trong đó là phân phối giả đích và là phân phối giả được dự đoán (nhưng hàm thực sự đối xứng nên không thực sự quan trọng)$P(x)$$Q(x)$

Chúng được gọi là phân phối giả vì không được chuẩn hóa. Vì vậy, bạn có thể có nếu bạn có 2 nhãn cho một mẫu cụ thể.$\sum_x{P(x)}=2$

Kera

def abs_KL_div(y_true, y_pred):
    y_true = K.clip(y_true, K.epsilon(), None)
    y_pred = K.clip(y_pred, K.epsilon(), None)
    return K.sum( K.abs( (y_true- y_pred) * (K.log(y_true / y_pred))), axis=-1)

Tôi chưa sử dụng máy ảnh. Lấy caffe làm ví dụ, bạn có thể sử dụng SigmoidCrossEntropyLossLayercho các vấn đề đa nhãn.

Trên thực tế, trong tenorflow bạn vẫn có thể sử dụng sigmoid_cross_entropy_meanhàm tính toán tổn thất trong đa nhãn, tôi rất xác nhận nó

Tôi là một người mới ở đây nhưng tôi sẽ thử đưa ra một câu hỏi với câu hỏi này. Tôi đã tìm kiếm điều tương tự như bạn, và cuối cùng tôi đã tìm thấy một hướng dẫn phân loại đa lớp rất tốt của máy ảnh @ http://machinelearningmastery.com/multi- class- classifying-tutorial-keras-deep-learning-l Library / .

Tác giả của hướng dẫn đó sử dụng chức năng mất entropy chéo phân loại, và có một chủ đề khác có thể giúp bạn tìm giải pháp @ tại đây .