Sự khác biệt trong cơ sở log cho vôi hóa entropy chéo


8

Tôi đã bắt đầu trải qua các hướng dẫn của TensorFlow ở đây và tôi có một câu hỏi nhỏ về các tính toán entropy chéo. Hầu hết các địa điểm tôi đã thấy entropy chéo được tính bằng nhật ký cơ sở 2, nhưng tf.log là cơ sở e. Trong những điều kiện nào sẽ sử dụng một cơ sở nhật ký sẽ được ưu tiên hơn cơ sở khác?


Không có sự khác biệt nếu được sử dụng nhất quán.
Carl

Câu trả lời:


15

log cơ sở e và log cơ sở 2 chỉ là một yếu tố không đổi với nhau:

logenlog2n=loge2logee=loge2

Do đó, sử dụng một so với các tỷ lệ khác entropy theo một yếu tố không đổi. Khi sử dụng log cơ sở 2, đơn vị của entropy là bit, trong đó với log tự nhiên, đơn vị là nats.

Một cái không tốt hơn cái kia. Nó giống như sự khác biệt giữa việc sử dụng km / giờ và m / s.

Có thể log cơ sở 2 nhanh hơn để tính toán hơn logarit. Tuy nhiên, trong thực tế, tính toán entropy chéo gần như không phải là phần tốn kém nhất của thuật toán, vì vậy nó không phải là điều gì đó quá đáng quan tâm.

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.