Ước tính thông tin entropy thông qua lấy mẫu Monte Carlo

10

Tôi đang tìm kiếm các phương pháp cho phép ước tính entropy thông tin của phân phối khi các cách lấy mẫu thực tế duy nhất từ phân phối đó là phương pháp Monte Carlo.

Vấn đề của tôi không giống như mô hình Ising tiêu chuẩn thường được sử dụng làm ví dụ giới thiệu cho việc lấy mẫu của Metropolis Muff Hastings. Tôi có một phân bố xác suất trên một tập , tức là tôi có cho mỗi . Các yếu tố có tính chất tổ hợp, như các trạng thái Ising, và có một số lượng rất lớn trong số chúng. Điều này có nghĩa là trong thực tế tôi không bao giờ lấy cùng một mẫu hai lần khi lấy mẫu từ phân phối này trên máy tính. không thể được tính trực tiếp (do không biết hệ số chuẩn hóa), nhưng tỷ lệ $A$ $p(a)$ $a \in A$ $a \in A$ $p(a)$ là dễ dàng để tính toán. $p(a_1)/p(a_2)$

Tôi muốn ước tính entropy thông tin phân phối này,

S = - \sum_{a \in A} p (a) \ln p (a) .

$S = -\sum_{a \in A} p(a) \ln p(a).$

Ngoài ra, tôi muốn để ước tính sự khác biệt giữa entropy phân phối này và một thu được bằng cách hạn chế nó vào một tập hợp con (và tất nhiên lại bình thường). $a\in A_1 \subset A$

monte-carlo random-sampling

— Charles Wells
nguồn

3

Nếu tôi hiểu những thông tin bạn có sẵn, những gì bạn muốn là không thể: thông tin có sẵn cho bạn là không đủ để xác định entropy. Nó thậm chí không đủ để ước tính entropy.

$p(\cdot)$ $p(a_1)/p(a_2)$ $a_1,a_2$

$2^{200}$ $2^{300}$ $p(a_1)/p(a_2)$ sẽ luôn chính xác là 1, vì vậy các tỷ lệ sẽ không giúp bạn phân biệt giữa hai phân phối. Và do nghịch lý sinh nhật, bạn có thể lấy mẫu bao nhiêu tùy thích, nhưng bạn sẽ không bao giờ nhận được cùng một giá trị hai lần (không trong vòng đời của bạn, ngoại trừ xác suất nhỏ theo cấp số nhân), vì vậy các giá trị bạn nhận được từ lấy mẫu sẽ giống như điểm ngẫu nhiên và không chứa thông tin hữu ích.

$p(\cdot)$

— DW
nguồn

p (a)

$p(a)$

p (a) \propto \exp (θ E (a))

$p(a) \propto \exp(\theta E(a))$

E

$E$

a

$a$

θ

$\theta$

1

p (a)

$p(a)$

2

F = ⟨ E ⟩ - T S,

$F = \langle E \rangle - T S,$

⟨ E ⟩

$\langle E \rangle$

T

$T$

θ

$\theta$

p \propto e^{θ E}

$p \propto \mathrm{e}^{\theta E}$

S

$S$

$\Delta F$ $\Delta S$ $\Delta F$ $\Delta \langle E \rangle$ $A_1$ $A$ $E$ $A_1$

Dưới đây là hai tài liệu tham khảo bổ sung về các thuật toán để tính toán năng lượng miễn phí:

Lelièvre, T., Rousset, M., & Stoltz, G. (2010). Tính toán năng lượng miễn phí. Nhà xuất bản Đại học Hoàng gia. http://doi.org/10.1142/9781848162488

Chipot, C., & Pohorille, A. (2007). Tính toán năng lượng miễn phí. (C. Chipot & A. Pohorille, biên soạn.) (Tập 86). Berlin, Heidelberg: Mùa xuân Berlin Heidelberg. http://doi.org/10.1007/978-3-540-38448-9

— Juan M. Bello-Rivas
nguồn

Bạn có thể cung cấp thêm tài liệu tham khảo thực tế để tính toán sự khác biệt năng lượng miễn phí? Wiki đó không đi quá xa

— Charles Wells

Làm xong. Tôi đã thêm hai tài liệu tham khảo và chỉ vào các liên kết trong thanh bên của wiki.

— Juan M. Bello-Rivas