Tại sao nó có mong muốn có tương quan tự động thấp trong MCMC?

11

Tôi tiếp tục đọc về sự cần thiết phải kiểm tra tự động trong MCMC. Tại sao điều quan trọng là sự tự tương quan thấp? Nó đo lường cái gì trong bối cảnh của MCMC?

sampling autocorrelation mcmc

— Amelio Vazquez-Reina
nguồn

3

Trong thực tế, nếu người ta có thể tạo ra sự tương quan âm tính cao trong bộ lấy mẫu MCMC, bộ lấy mẫu này sẽ cải thiện khi lấy mẫu iid. Tuy nhiên, điều này rất hiếm khi xảy ra ...

— Xi'an

4

Tự động tương quan là thước đo giá trị của một tín hiệu tương quan với các giá trị khác của tín hiệu đó tại các thời điểm khác nhau. Trong ngữ cảnh của MCMC, autocorrelation là thước đo mức độ độc lập của các mẫu khác nhau từ phân phối sau của bạn - tự động tương quan thấp hơn cho thấy kết quả độc lập hơn.

Khi bạn có mức độ tự tương quan cao, các mẫu bạn đã vẽ không thể hiện chính xác phân phối sau và do đó không cung cấp thông tin có ý nghĩa cho giải pháp cho vấn đề. Nói cách khác, tự động tương quan thấp hơn có nghĩa là hiệu quả cao hơn trong chuỗi của bạn và ước tính tốt hơn. Một nguyên tắc chung sẽ là sự tự tương quan của bạn càng thấp, thì càng ít mẫu bạn cần để phương pháp có hiệu quả (nhưng điều đó có thể là quá đơn giản).

— Henry Hammond
nguồn

Tôi không có nhiều nền tảng với MCMC nhưng câu cuối cùng của bạn không có vẻ quá đơn giản. Nếu bạn nhìn vào ảnh hưởng của tương quan tự động đến ước tính lỗi của bạn, họ sẽ thay đổi giá trị từ thành trong đó là thời gian tự động đo được đo trên cùng vật quan sátVì vậy, nó cũng giống như chỉ có 'đo lường hiệu quả' thay vì . Có còn một số đơn giản hóa trong tuyên bố này?

Δ A^{²} = \frac{Var A}{N}

$\Delta A^² = \frac{\text{Var} A}{N}$

Δ A^{²} = \frac{Var A}{N} (1 + 2 τ)

$\Delta A^² = \frac{\text{Var} A}{N}(1+2\tau)$

τ

$\tau$

A

$A$

\frac{N}{1 + 2 τ}

$\frac{N}{1+2\tau}$

N

$N$

— Học tập là một mớ hỗn độn

10

Đầu tiên, và rõ ràng nhất, nếu tự động tương quan cao thì N mẫu không cung cấp cho bạn N thông tin về phân phối của bạn nhưng ít hơn thế. Cỡ mẫu hiệu quả (ESS) là một thước đo xem bạn thực sự nhận được bao nhiêu thông tin (và là một chức năng của tham số tự động tương quan).

Liên quan, tự động tương quan cung cấp cho bạn các mẫu không thể hiện "trong thời gian ngắn". Hơn nữa, càng có nhiều tự động tương quan thì 'thời gian ngắn' càng dài. Đối với tự động tương quan rất mạnh, thời gian ngắn có thể là một phần tốt trong tổng số mẫu của bạn. Các biện pháp khắc phục trực tiếp thông thường là tham số lại hoặc tham số lấy mẫu mà bạn dự kiến sẽ được xen kẽ trong các khối thay vì riêng rẽ vì chúng sẽ tạo ra tự động tương quan trong chuỗi. Mọi người cũng thường 'mỏng', mặc dù có một số cuộc thảo luận về việc này hữu ích như thế nào trong việc giải quyết vấn đề tiềm ẩn, ví dụ ở đây . Kass 1997 là một cuộc thảo luận không chính thức về các vấn đề, mặc dù có lẽ có điều gì đó mới hơn mà những người khác có thể đề xuất.

Nói tóm lại, một chuỗi tự động tương quan mạnh sẽ mất nhiều thời gian hơn để có được từ các điều kiện bắt đầu của nó đến phân phối mục tiêu mà bạn muốn, trong khi ít thông tin hơn và mất nhiều thời gian hơn để khám phá phân phối đó khi đến đó.

— liên hợp
nguồn