Xây dựng hàm mất mát đặc thù

Mô tả vấn đề

Tôi đang bắt đầu xây dựng mạng cho một vấn đề mà tôi cảm thấy có thể có chức năng mất mát sâu sắc hơn nhiều so với hồi quy MSE đơn giản.

Vấn đề của tôi liên quan đến phân loại đa danh mục ( xem câu hỏi của tôi về SO để biết ý tôi là gì), trong đó có một khoảng cách hoặc mối quan hệ xác định giữa các danh mục cần được tính đến.

Một điểm khác là lỗi không nên bị ảnh hưởng bởi số lượng các loại bắn hiện tại. Tức là lỗi cho 5 loại bắn mỗi loại bằng 0,1, phải giống với 1 loại bắn ra bằng 0,1. (bằng cách bắn tôi có nghĩa là chúng khác không, hoặc vượt quá ngưỡng nào đó)

Những điểm chính

• phân loại đa loại (bắn nhiều lần cùng một lúc)
• mối quan hệ giữa các loại
• số lượng các loại bắn không nên mất hiệu lực:
  • 

Nỗ lực của tôi

Lỗi bình phương có vẻ như là một nơi tốt để bắt đầu:

Điều này chỉ đơn giản là xem xét theo từng loại, vẫn còn có giá trị trong vấn đề của tôi nhưng bỏ lỡ một phần lớn của bức tranh.

Đây là nỗ lực của tôi để khắc phục ý tưởng về khoảng cách giữa các loại. Tiếp theo tôi muốn tính đến số lượng danh mục bắn ( gọi nó là: v )

Câu hỏi của tôi

Tôi có một nền tảng rất yếu trong thống kê; kết quả là, tôi không có nhiều công cụ trong vành đai của mình để khắc phục một vấn đề như thế này. Chủ đề ô của những gì tôi đang hỏi sẽ xuất hiện là "Khi hình thành hàm chi phí, làm thế nào để kết hợp nhiều thước đo chi phí? Hoặc người ta có thể áp dụng những kỹ thuật nào để làm như vậy?" . Tôi cũng sẽ đánh giá cao bất kỳ sai sót nào trong quá trình suy nghĩ của tôi được bộc lộ và cải thiện.

Tôi đánh giá cao việc được dạy tại sao những sai lầm của tôi là sai lầm, trái ngược với việc ai đó chỉ sửa chúng mà không cần giải thích.

Nếu bất kỳ phần nào của câu hỏi này thiếu rõ ràng hoặc có thể được cải thiện, xin vui lòng cho tôi biết.

Bạn có thể sử dụng mất bản lề , giới hạn trên của tổn thất phân loại; nghĩa là, nó sẽ phạt người mẫu nếu nhãn của hạng mục ghi điểm cao nhất khác với nhãn của lớp sự thật.

Để biết thêm chi tiết về mối quan hệ giữa mất phân loại và mất bản lề, bạn có thể đọc Phần 2 của bài báo tuyệt vời này từ CNJ Yu và T. Joachims.

Tóm lại, có một mất nhiệm vụ , thường được ký hiệu là , đo lường hình phạt để dự đoán đầu ra cho đầu vào khi đầu ra dự kiến ​​(sự thật) là . Mất nhiệm vụ cho phân loại nhiều lớp thường được xác định là . Tuy nhiên, miễn là chỉ phụ thuộc vào hai nhãn và , bạn có thể xác định nó theo cách bạn muốn. Cụ thể, người ta có thể xem là tùy ý$\Delta \left( y_i, \hat{y}(x_i) \right)$$\hat{y}(x_i)$$x_i$$y_i$$\Delta \left( y_i, \hat{y}(x_i) \right) = \mathbf{1}\{ y_i \neq \hat{y}(x_i) \}$$\Delta$$y$$\hat{y}$$\Delta$$K \times K$ma trận trong đó là số lượng danh mục và biểu thị hình phạt phân loại đầu vào của danh mục là thuộc danh mục .$K$$\Delta(a, b)$$a$$b$

Ví dụ: $\\\text{input data}: \\ \{(x_1, y_1), (x_2, y_2), (x_3, y_3)\}, \quad x_i \in \mathbb{R}^d, \quad y_i \in \mathcal{Y}=\{c_1, c_2, c_3, c_4\} \\ \text{network predictions}:\\ \hat{y}(x_1)=c_2, \quad \hat{y}(x_2)=c_1, \quad \hat{y}(x_3)=c_3 \\ \text{task loss matrix}:\\ \begin{bmatrix} \Delta(y_{1}, y_{1}) & \Delta(y_{1}, y_{2}) & \Delta(y_{1}, y_{3}) & \Delta(y_{1}, y_{4}) \\ \Delta(y_{2}, y_{1}) & \Delta(y_{2}, y_{2}) & \Delta(y_{2}, y_{3}) & \Delta(y_{2}, y_{4}) \\ \Delta(y_{3}, y_{1}) & \Delta(y_{3}, y_{2}) & \Delta(y_{3}, y_{3}) & \Delta(y_{3}, y_{4}) \\ \Delta(y_{4}, y_{1}) & \Delta(y_{4}, y_{2}) & \Delta(y_{4}, y_{3}) & \Delta(y_{4}, y_{4}) \end{bmatrix} = \begin{bmatrix} 0 & 1 & 2 & 3 \\ 1 & 0 & 1 & 2 \\ 2 & 1 & 0 & 1 \\ 3 & 2 & 1 & 0 \end{bmatrix} \\ \text{classification loss assuming $\quad y_1=c_4, \quad y_2=c_1, \quad y_3=c_4$:} \\ \Delta(y_1, \hat{y}(x_1)) = \Delta(c_4, c_2) = 2 \\ \Delta(y_2, \hat{y}(x_2)) = \Delta(c_1, c_1) = 0 \\ \Delta(y_3, \hat{y}(x_3)) = \Delta(c_4, c_3) = 1 \\ $