Sử dụng hình học thông tin để xác định khoảng cách và khối lượng hữu ích?


13

Tôi đã bắt gặp một khối lượng lớn tài liệu ủng hộ việc sử dụng số liệu Thông tin của Fisher như một số liệu địa phương tự nhiên trong không gian phân phối xác suất và sau đó tích hợp vào đó để xác định khoảng cách và khối lượng.

Nhưng những số lượng "tích hợp" này thực sự hữu ích cho bất cứ điều gì? Tôi không tìm thấy sự biện minh lý thuyết và rất ít ứng dụng thực tế. Một là công việc của Guy Lebanon trong đó anh ta sử dụng "Khoảng cách của Fisher" để phân loại tài liệu và một công việc khác là Rodriguez ' ABC về lựa chọn mô hình , trong đó "Khối lượng của Fisher" được sử dụng để lựa chọn mô hình. Rõ ràng, việc sử dụng "khối lượng thông tin" sẽ cải thiện "các đơn đặt hàng cường độ" so với AIC và BIC để lựa chọn mô hình, nhưng tôi chưa thấy bất kỳ sự theo dõi nào về công việc đó.

Một lý do biện minh về mặt lý thuyết có thể là có một khái quát hóa ràng buộc sử dụng thước đo khoảng cách hoặc âm lượng này và tốt hơn giới hạn xuất phát từ MDL hoặc các đối số tiệm cận, hoặc một phương pháp dựa trên một trong những đại lượng này có thể chứng minh tốt hơn trong một số tình huống thực tế hợp lý, bất kỳ kết quả của loại này?


Thông tin của Fisher đưa ra ràng buộc thấp hơn trong ước tính tham số. Đây là một số liệu tự nhiên bởi vì nó đại khái nói một cái gì đó như "theo hướng này, độ khó của vấn đề của tôi không thể giảm nhiều hơn thế". Những gì bạn gọi là giới hạn khái quát là giới hạn trên? Bạn có muốn biết hiệu suất của phương pháp sử dụng số liệu Fisher (phần lớn bạn đề cập là một danh sách tốt) không? xin lỗi nhưng tôi không thực sự nhận được câu hỏi :) bạn có thể cải tổ điểm đó không?
cướp girard

Hãy nói rằng Ma trận thông tin của Fisher cung cấp cho thang đo Riemannian của chúng tôi. Nó cho phép chúng ta tìm ra arclength của bất kỳ đường cong nào bằng cách tích hợp. Sau đó, bạn xác định khoảng cách giữa p và q là arclength nhỏ nhất trên tất cả các đường cong nối p và q. Đây là thước đo khoảng cách tôi đang hỏi về. Tương tự với âm lượng.
Yar Tư Bulatov

1
Vì vậy, chỉ là một ví dụ, Rodriguez có được sự cải thiện đáng kể bằng cách sử dụng "khối lượng thông tin" làm thước đo độ phức tạp của mô hình, nhưng đáng ngạc nhiên là tôi không thể thấy ai khác thử điều này
Yaroslav Bulatov

Câu trả lời:


5

Có một bài đọc vào tuần trước tại Hiệp hội Thống kê Hoàng gia về các kỹ thuật MCMC về đa tạp Riemann, chủ yếu sử dụng số liệu thông tin của Fisher: http://www.rss.org.uk/main.asp?page=1836#Oct_13_2010_Meeting

Các kết quả có vẻ đầy hứa hẹn, mặc dù như các tác giả đã chỉ ra, trong nhiều mô hình quan tâm (như mô hình hỗn hợp), thông tin của Fisher không có dạng phân tích.


1
Có phải đó là giấy "Riemann đa tạp Langevin"? Có tích hợp thông tin Fisher tại một số điểm?
Yar Tư Bulatov

4

Đối số được biết rõ nhất là số liệu đánh bắt cá, là bất biến đối với các phép biến đổi, có thể được sử dụng để hình thành một số không xác định trước (Jeffreys trước). Không chắc chắn tôi mua nó!

Ít được biết đến hơn, đôi khi những "đại lượng tích hợp" này hóa ra là phân kỳ và do đó, người ta có thể lập luận rằng khoảng cách đánh bắt tạo ra một tập hợp phân kỳ (và tính chất của chúng).

Tuy nhiên, tôi vẫn chưa tìm thấy một mô tả trực quan tốt về thông tin đánh bắt cá và số lượng mà nó tạo ra. Xin vui lòng cho tôi biết nếu bạn tìm thấy một.


Rất nhiều điều được biết về Thông tin của Fisher, đó là sự tích hợp của thông tin nghề cá mà tôi không chắc chắn. Tôi không quen thuộc với những gì bạn nói về Thông tin của Fisher biến thành một số phân kỳ đã biết về hội nhập
Yaroslav Bulatov

4

Lý do "không theo dõi" là rất ít người hiểu công việc của Rodriguez trong nhiều năm trở lại đây. Đó là thứ quan trọng và tôi chắc chắn sẽ thấy nhiều hơn trong tương lai.

Tuy nhiên, một số người sẽ cho rằng số liệu Fisher chỉ là xấp xỉ bậc 2 so với số liệu thực (ví dụ bài báo của Neumann về việc thiết lập các linh mục entropic ) thực sự được xác định bởi khoảng cách Kullback-Liebler (hoặc khái quát hóa) và dẫn đến công thức của Zellner Linh mục MDI.

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.