Hàm mất hệ số súc sắc so với entropy chéo

Khi đào tạo một mạng nơ ron phân đoạn pixel, chẳng hạn như mạng tích chập hoàn toàn, làm thế nào để bạn đưa ra quyết định sử dụng chức năng mất entropy chéo so với chức năng mất hệ số Dice?

Tôi nhận ra đây là một câu hỏi ngắn, nhưng không chắc chắn những thông tin khác sẽ cung cấp. Tôi đã xem xét một loạt các tài liệu về hai chức năng mất nhưng không thể hiểu được trực quan khi nào nên sử dụng chức năng này.

Một lý do thuyết phục cho việc sử dụng entropy chéo trên hệ số xúc xắc hoặc số liệu IoU tương tự là độ dốc đẹp hơn.

Độ dốc của entropy chéo wrt các bản ghi là một cái gì đó giống như , trong đó là đầu ra softmax và là mục tiêu. Trong khi đó, nếu chúng ta cố gắng viết hệ số xúc xắc ở dạng khác biệt: hoặc , thì độ dốc kết quả wrt sẽ xấu hơn nhiều : và . Thật dễ dàng để tưởng tượng một trường hợp mà cả và đều nhỏ, và độ dốc thổi lên một số giá trị lớn. Nhìn chung, có vẻ như việc đào tạo sẽ trở nên không ổn định hơn.$p - t$$p$$t$$\frac{2pt}{p^2+t^2}$$\frac{2pt}{p+t}$$p$$\frac{2t^2}{(p+t)^2}$$\frac{2t(t^2-p^2)}{(p^2+t^2)^2}$$p$$t$

Lý do chính mà mọi người cố gắng sử dụng trực tiếp hệ số xúc xắc hoặc IoU là vì mục tiêu thực tế là tối đa hóa các số liệu đó và entropy chéo chỉ là một proxy dễ dàng hơn để tối đa hóa việc sử dụng backpropagation. Ngoài ra, hệ số Dice thực hiện tốt hơn các vấn đề mất cân bằng lớp theo thiết kế:

Tuy nhiên, sự mất cân bằng lớp thường được quan tâm đơn giản bằng cách gán bội số tổn thất cho mỗi lớp, do đó mạng rất không phù hợp để đơn giản bỏ qua một lớp xuất hiện không thường xuyên, do đó, không rõ ràng rằng hệ số Dice thực sự cần thiết trong những trường hợp này.

Tôi sẽ bắt đầu với mất entropy chéo, dường như là tổn thất tiêu chuẩn cho các mạng phân khúc đào tạo, trừ khi có một lý do thực sự thuyết phục để sử dụng hệ số Dice.

Như được tóm tắt bởi @shimao và @cherub, người ta không thể nói apriori cái nào sẽ hoạt động tốt hơn trên một tập dữ liệu cụ thể. Cách chính xác là thử cả hai và so sánh kết quả. Ngoài ra, lưu ý rằng khi nói đến phân khúc, không dễ để "so sánh kết quả" : Các biện pháp dựa trên IoU như hệ số xúc xắc chỉ bao gồm một số khía cạnh về chất lượng của phân khúc; trong một số ứng dụng, các biện pháp khác nhau như khoảng cách bề mặt trung bình hoặc khoảng cách bề mặt Hausdorff cần được sử dụng. Như bạn thấy, thậm chí việc lựa chọn chỉ số chất lượng chính xác là không đáng kể, chứ chưa nói đến việc lựa chọn hàm chi phí tốt nhất.

Cá nhân tôi có kinh nghiệm rất tốt với hệ số xúc xắc; nó thực sự làm nên điều kỳ diệu khi mất cân bằng lớp học (một số phân đoạn chiếm ít pixel / voxels hơn các phân đoạn khác). Mặt khác, đường cong lỗi đào tạo trở thành một mớ hỗn độn: nó hoàn toàn không cho tôi thông tin về sự hội tụ, vì vậy về mặt này, chiến thắng của entropy chéo. Tất nhiên, điều này có thể / nên được bỏ qua bằng cách kiểm tra lỗi xác nhận dù sao đi nữa.