Tại sao chúng ta giảm thiểu khả năng tiêu cực nếu nó tương đương với tối đa hóa khả năng?

Câu hỏi này đã làm tôi bối rối trong một thời gian dài. Tôi hiểu việc sử dụng 'log' trong việc tối đa hóa khả năng nên tôi không hỏi về 'log'.

Câu hỏi của tôi là, vì tối đa hóa khả năng đăng nhập tương đương với giảm thiểu "khả năng nhật ký tiêu cực" (NLL), tại sao chúng tôi đã phát minh ra NLL này? Tại sao chúng ta không sử dụng "khả năng tích cực" mọi lúc? Trong trường hợp nào NLL được ưa chuộng?

Tôi tìm thấy một lời giải thích nhỏ ở đây. https://quantivity.wordpress.com/2011/05/23/why-minizes-negative-log-likabilities/ , và nó dường như giải thích sự tương đương rõ ràng theo chiều sâu, nhưng không giải quyết được sự nhầm lẫn của tôi.

Bất kỳ lời giải thích sẽ được đánh giá cao.

Đây là một câu trả lời thay thế : trình tối ưu hóa trong các gói thống kê thường hoạt động bằng cách giảm thiểu kết quả của hàm. Nếu chức năng của bạn cung cấp giá trị khả năng trước tiên, việc sử dụng logarit sẽ thuận tiện hơn để giảm giá trị được trả về bởi hàm khả năng. Sau đó, do khả năng và khả năng ghi nhật ký có cùng xu hướng tăng hoặc giảm, bạn có thể giảm thiểu khả năng nhật ký âm để thực sự ước tính khả năng tối đa của chức năng bạn đang kiểm tra. Xem ví dụ nlminbhàm trong R tại đây

Trình tối ưu hóa thường tối thiểu hóa một chức năng, vì vậy chúng tôi sử dụng khả năng ghi nhật ký âm là tối thiểu hóa tương đương với tối đa hóa khả năng đăng nhập hoặc khả năng của chính nó.

Để cho đầy đủ, tôi sẽ đề cập rằng logarit là một hàm đơn điệu, vì vậy tối ưu hóa một chức năng cũng giống như tối ưu hóa logarit của nó. Thực hiện chuyển đổi nhật ký của hàm khả năng giúp xử lý dễ dàng hơn (phép nhân trở thành tổng) và điều này cũng ổn định hơn về mặt số lượng. Điều này là do mức độ của khả năng có thể rất nhỏ. Thực hiện chuyển đổi nhật ký sẽ chuyển đổi các số nhỏ này thành các giá trị âm lớn hơn mà máy chính xác hữu hạn có thể xử lý tốt hơn.

Ở đây tối thiểu hóa có nghĩa là giảm khoảng cách của hai phân phối xuống mức thấp nhất: phân phối Bernoulli đích và phân phối kết quả được tạo. Chúng tôi đo khoảng cách của hai phân phối bằng cách sử dụng phân kỳ Kullback-Leibler (còn được gọi là entropy tương đối) và do lý thuyết số lượng lớn giảm thiểu phân kỳ KL là số tiền để giảm thiểu entropy chéo (hoặc entropy chéo đa giác, xem tại đây hoặc phân loại nhị phân, xem tại đây và phân loại nhị phân đây )

Do vậy

tối đa hóa khả năng đăng nhập tương đương với giảm thiểu "khả năng nhật ký tiêu cực"

có thể được dịch sang

Tối đa hóa khả năng ghi nhật ký tương đương với giảm thiểu khoảng cách giữa hai phân phối, do đó tương đương với giảm thiểu phân kỳ KL, và sau đó là entropy chéo.

Tôi nghĩ rằng nó đã trở nên khá trực quan.

Câu trả lời đơn giản hơn bạn nghĩ. Đó là quy ước mà chúng tôi gọi hàm mục tiêu tối ưu hóa là "hàm chi phí" hoặc "hàm mất mát" và do đó, chúng tôi muốn giảm thiểu chúng, thay vì tối đa hóa chúng, và do đó khả năng nhật ký âm được hình thành, thay vì khả năng tích cực trong bạn từ. Về mặt kỹ thuật cả hai đều đúng. Nhân tiện, nếu chúng ta muốn tối đa hóa một cái gì đó, thông thường chúng ta gọi nó là "chức năng tiện ích" và do đó mục tiêu là tối đa hóa chúng.