Liệu chi phí entropy chéo có ý nghĩa trong bối cảnh hồi quy?

Liệu chi phí entropy chéo có ý nghĩa trong bối cảnh hồi quy (trái ngược với phân loại)? Nếu vậy, bạn có thể đưa ra một ví dụ đồ chơi thông qua TensorFlow không? Nếu không, tai sao không?

Tôi đã đọc về entropy chéo trong Mạng nơ-ron và Học sâu của Michael Nielsen và có vẻ như một thứ gì đó có thể được sử dụng một cách tự nhiên để hồi quy cũng như phân loại, nhưng tôi không hiểu cách bạn áp dụng nó hiệu quả trong TensorFlow kể từ khi chức năng mất mất các bản ghi (mà tôi cũng không thực sự hiểu) và chúng được liệt kê theo phân loại ở đây

Không, không có nghĩa gì khi sử dụng các hàm TensorFlow như tf.nn.sigmoid_cross_entropy_with_logitsđối với tác vụ hồi quy. Trong TensorFlow, entropy chéo của người Hồi giáo là viết tắt (hoặc biệt ngữ) cho entropy chéo phân loại. Entropy chéo phân loại là một hoạt động trên xác suất. Một vấn đề hồi quy cố gắng dự đoán kết quả liên tục, thay vì phân loại.

Các biệt ngữ "entropy chéo" là một chút sai lệch, bởi vì có bất kỳ số lượng các hàm mất entropy chéo; tuy nhiên, đó là một quy ước trong học máy để gọi sự mất mát đặc biệt này là mất mát "entropy chéo".

Nếu chúng ta nhìn xa hơn các hàm TensorFlow mà bạn liên kết đến, thì tất nhiên có bất kỳ số lượng các hàm entropy chéo nào có thể. Điều này là do khái niệm chung về entropy chéo là về việc so sánh hai phân phối xác suất. Tùy thuộc vào hai phân phối xác suất mà bạn muốn so sánh, bạn có thể đi đến một tổn thất khác với tổn thất entropy chéo phân loại điển hình. Ví dụ, entropy chéo của mục tiêu Gaussian với một số hiệp phương sai đường chéo trung bình nhưng cố định khác nhau làm giảm lỗi bình phương trung bình. Khái niệm chung về entropy chéo được nêu chi tiết hơn trong các câu hỏi sau:

• Các mạng thần kinh học một hàm hoặc một hàm mật độ xác suất?

• Làm thế nào để xây dựng một tổn thất entropy chéo cho các mục tiêu hồi quy chung?

Câu trả lời được đưa ra bởi @Sycorax là chính xác. Tuy nhiên, điều đáng nói là việc sử dụng entropy chéo (nhị phân) trong tác vụ hồi quy trong đó các giá trị đầu ra nằm trong phạm vi [0,1] là điều hợp lệ và hợp lý để làm. Trên thực tế, nó được sử dụng trong bộ tự động hình ảnh (ví dụ ở đây và bài báo này ). Bạn có thể quan tâm để xem một bằng chứng toán học đơn giản về lý do tại sao nó hoạt động trong trường hợp này trong câu trả lời này .

Các khung học tập sâu thường trộn lẫn các mô hình và tổn thất và đề cập đến entropy chéo của một mô hình đa phương thức với tính phi tuyến mềm của softmax bởi cross_entropy, điều này gây hiểu nhầm. Nói chung, bạn có thể định nghĩa entropy chéo cho các mô hình tùy ý .

Đối với một mô hình Gaussian với trung bình cộng khác nhau nhưng hiệp phương sai cố định, nó tương đương với MSE. Đối với một hiệp phương sai chung, entropy chéo sẽ tương ứng với khoảng cách Mahalanobis bình phương . Đối với phân phối theo cấp số nhân, tổn thất entropy chéo sẽ trông giống như trong đó là liên tục nhưng không âm. Vì vậy, có , entropy chéo có thể được sử dụng cho hồi quy.

Thật không may, câu trả lời được chấp nhận bởi @Sycorax, trong khi chi tiết, là không chính xác.

Trên thực tế, một ví dụ điển hình của hồi quy thông qua entropy chéo phân loại - Wavenet - đã được thực hiện trong TensorFlow .

Nguyên tắc là bạn rời rạc không gian đầu ra và sau đó mô hình của bạn chỉ dự đoán thùng tương ứng; xem Phần 2.2 của bài báo để biết ví dụ trong miền mô hình hóa âm thanh. Vì vậy, trong khi về mặt kỹ thuật, mô hình thực hiện phân loại, nhiệm vụ cuối cùng được giải quyết là hồi quy.

Một nhược điểm rõ ràng là, bạn mất độ phân giải đầu ra. Tuy nhiên, đây có thể không phải là vấn đề (ít nhất tôi nghĩ rằng trợ lý nhân tạo của Google đã nói giọng rất nhân văn ) hoặc bạn có thể chơi xung quanh với một số xử lý hậu kỳ, ví dụ như nội suy giữa thùng có thể xảy ra nhất và đó là hai người hàng xóm.

Mặt khác, cách tiếp cận này làm cho mô hình mạnh hơn nhiều so với đầu ra đơn vị tuyến tính đơn thông thường, nghĩa là cho phép thể hiện dự đoán đa phương thức hoặc để đánh giá độ tin cậy của nó. Lưu ý rằng mặc dù cái sau có thể đạt được một cách tự nhiên bằng các phương tiện khác, ví dụ: bằng cách có đầu ra phương sai (log) rõ ràng như trong Bộ biến đổi tự động biến đổi.

Dù sao, cách tiếp cận này không mở rộng tốt cho đầu ra nhiều chiều hơn, bởi vì sau đó kích thước của lớp đầu ra tăng theo cấp số nhân, làm cho nó trở thành vấn đề tính toán và mô hình hóa ..

Tôi đã xem lại câu hỏi này vì bây giờ tôi không đồng ý với câu trả lời mà tôi đã chấp nhận trước đây. Mất entropy chéo CÓ THỂ được sử dụng trong hồi quy (mặc dù nó không phổ biến.)

Thực tế là entropy chéo là một khái niệm chỉ có ý nghĩa khi so sánh hai phân phối xác suất. Bạn có thể xem xét một mạng thần kinh tạo ra độ lệch trung bình và độ lệch chuẩn cho phân phối bình thường như dự đoán của nó. Sau đó, nó sẽ bị trừng phạt nặng nề hơn vì tự tin hơn về những dự đoán xấu. Vì vậy, có, nó có ý nghĩa, nhưng chỉ khi bạn xuất ra một bản phân phối theo một nghĩa nào đó. Liên kết từ @SiddharthShakya trong một bình luận cho câu hỏi ban đầu của tôi cho thấy điều này.