So sánh giữa MaxEnt, ML, Bayes và các phương pháp suy luận thống kê khác

Tôi không phải là một nhà thống kê (tôi đã có một khóa học về thống kê toán học nhưng không có gì hơn thế), và gần đây, trong khi nghiên cứu lý thuyết thông tin và cơ học thống kê, tôi đã gặp một thứ gọi là "thước đo không chắc chắn" / "entropy". Tôi đọc dẫn xuất của Khinchin về nó như một thước đo của sự không chắc chắn và nó có ý nghĩa với tôi. Một điều có ý nghĩa khác là Jaynes mô tả MaxEnt để có được một thống kê khi bạn biết trung bình số học của một hoặc nhiều hàm / s trên mẫu (giả sử bạn chấp nhận là thước đo độ không chắc chắn của khóa học). $-\sum p_i\ln p_i$

Vì vậy, tôi đã tìm kiếm trên mạng để tìm mối quan hệ với các phương pháp suy luận thống kê khác, và tôi đã nhầm lẫn. Ví dụ , bài viết này đề xuất, giả sử rằng tôi đã hiểu đúng, rằng bạn chỉ cần có một công cụ ước tính ML theo một cải cách phù hợp của vấn đề; MacKey, trong cuốn sách của mình, nói rằng MaxEnt có thể mang đến cho bạn những điều kỳ lạ và bạn không nên sử dụng nó ngay cả cho một ước tính bắt đầu theo suy luận Bayes; vv .. Tôi đang gặp khó khăn trong việc tìm kiếm so sánh tốt.

Câu hỏi của tôi là, bạn có thể đưa ra một lời giải thích và / hoặc những điểm tốt về điểm yếu và điểm mạnh của MaxEnt như một phương pháp suy luận thống kê với so sánh định lượng với các phương pháp khác (ví dụ khi áp dụng cho các mô hình đồ chơi) không?

Các phương pháp suy luận MaxEnt và Bayes tương ứng với các cách kết hợp thông tin khác nhau vào quy trình lập mô hình của bạn. Cả hai đều có thể được đặt trên nền tảng tiên đề ( "Tiên đề của Entropy tối đa" của John Skilling và "Đại số suy luận có thể xảy ra" của Cox ).

Cách tiếp cận Bayes rất đơn giản để áp dụng nếu kiến ​​thức trước của bạn xuất hiện dưới dạng hàm có giá trị thực có thể đo được trên không gian giả thuyết của bạn, nên được gọi là "trước". MaxEnt rất đơn giản khi thông tin xuất hiện dưới dạng một tập hợp các ràng buộc cứng trên không gian giả thuyết của bạn. Trong cuộc sống thực, kiến ​​thức không ở dạng "trước" hay ở dạng "ràng buộc", vì vậy thành công của phương pháp của bạn phụ thuộc vào khả năng thể hiện kiến ​​thức của bạn ở dạng tương ứng.

Đối với một vấn đề về đồ chơi, tính trung bình của mô hình Bayes sẽ cho bạn mức giảm log trung bình thấp nhất (tính trung bình trên nhiều lần rút mô hình) khi trước đó phù hợp với phân phối giả thuyết thực sự. Cách tiếp cận MaxEnt sẽ cung cấp cho bạn mức giảm log-in trong trường hợp xấu nhất khi các ràng buộc của nó được thỏa mãn (điều tồi tệ nhất đối với tất cả các linh mục có thể)

ETJaynes, được coi là cha đẻ của các phương pháp "MaxEnt" cũng dựa vào các phương pháp Bayes. Trên trang 1412 của cuốn sách , ông đưa ra một ví dụ về cách tiếp cận Bayes dẫn đến một giải pháp tốt, tiếp theo là một ví dụ trong đó phương pháp MaxEnt tự nhiên hơn.

Khả năng tối đa về cơ bản đưa mô hình nằm trong một số không gian mô hình được xác định trước và cố gắng điều chỉnh nó "hết sức có thể" theo nghĩa là nó sẽ có độ nhạy cao nhất đối với dữ liệu trong tất cả các phương pháp chọn mô hình được giới hạn trong mô hình đó không gian. Trong khi MaxEnt và Bayesian là các khung, ML là một phương pháp phù hợp mô hình cụ thể và đối với một số lựa chọn thiết kế cụ thể, ML có thể kết thúc phương thức ra khỏi phương pháp Bayesian hoặc MaxEnt. Chẳng hạn, MaxEnt với các ràng buộc đẳng thức tương đương với khả năng phù hợp tối đa của một gia đình hàm mũ nhất định. Tương tự, một phép tính gần đúng với suy luận Bayes có thể dẫn đến giải pháp Khả năng tối đa thường xuyên. Nếu bạn chọn trước để đưa ra kết luận của mình nhạy cảm tối đa với dữ liệu, kết quả suy luận Bayes sẽ tương ứng với mức độ phù hợp tối đa. Ví dụ,$p$

Thành công của Machine Learning ngoài đời thực thường là sự pha trộn của nhiều triết lý khác nhau. Ví dụ: "Trường ngẫu nhiên" được lấy từ các nguyên tắc MaxEnt. Thực hiện phổ biến nhất của ý tưởng, CRF thường xuyên, liên quan đến việc thêm "trước" vào các tham số. Kết quả là, phương pháp này không thực sự là MaxEnt hay Bayesian, mà bị ảnh hưởng bởi cả hai trường phái tư tưởng.

Tôi đã thu thập một số liên kết về nền tảng triết học của phương pháp Bayesian và MaxEnt ở đây và đây .

Lưu ý về thuật ngữ: đôi khi mọi người gọi phương thức của họ là Bayes đơn giản nếu nó sử dụng quy tắc Bayes tại một số điểm. Tương tự, "MaxEnt" đôi khi được sử dụng cho một số phương pháp ủng hộ các giải pháp entropy cao. Điều này không giống như "suy luận MaxEnt" hoặc "suy luận Bayes" như mô tả ở trên

Đối với một bài phê bình thú vị về các phương pháp entropy tối đa, tôi khuyên bạn nên đọc một số bài đăng nhóm tin cũ trên sci.stat.math và sci.stat.consult, đặc biệt là các bài của Radford Neal:

• Làm thế nào thông tin là phương pháp Entropy tối đa? (1994)
• Mức tối đa Entropy (2002)
• Giải thích về Entropy tối đa (2004)

Tôi không nhận thấy bất kỳ sự so sánh nào giữa phương pháp tối đa và các phương pháp khác: một phần của vấn đề dường như là tối đa đó không thực sự là một khung, mà là một chỉ thị mơ hồ ("khi phải đối mặt với một ẩn số, chỉ đơn giản là tối đa hóa entropy"), đó là diễn giải theo những cách khác nhau bởi những người khác nhau.

Đúng là trong quá khứ, MaxEnt và Bayes đã xử lý các loại hoặc hình thức thông tin khác nhau. Tuy nhiên, tôi muốn nói rằng Bayes cũng sử dụng các ràng buộc "cứng".

Trong mọi trường hợp, nó không còn là vấn đề nữa vì Quy tắc Bayes (không phải quy tắc sản phẩm) có thể được lấy từ Entropy tương đối tối đa (MrE) và không theo cách mơ hồ:

• Cập nhật xác suất với dữ liệu và khoảnh khắc
• Từ Vật lý đến Kinh tế: Một ví dụ kinh tế lượng sử dụng Entropy tương đối tối đa

Đó là một thế giới mới ...