Lấy mẫu từ một bản phân phối không phù hợp (sử dụng MCMC và các cách khác)

Câu hỏi cơ bản của tôi là: làm thế nào bạn lấy mẫu từ một phân phối không phù hợp? Nó thậm chí có ý nghĩa để lấy mẫu từ một phân phối không phù hợp?

Nhận xét của Xi'an ở đây loại địa chỉ câu hỏi, nhưng tôi đang tìm kiếm thêm một số chi tiết về điều này.

Cụ thể hơn đối với MCMC:

Khi nói về MCMC và đọc các bài báo, các tác giả nhấn mạnh đến việc có được các bản phân phối sau thích hợp. Có bài báo Geyer (1992) nổi tiếng mà tác giả quên kiểm tra xem hậu thế của họ có phù hợp không (nếu không là một bài báo xuất sắc).

Nhưng, giả sử chúng ta có khả năng và phân phối trước không đúng trên sao cho kết quả sau cũng không đúng và MCMC được sử dụng để lấy mẫu từ phân phối. Trong trường hợp này, mẫu chỉ ra điều gì? Có bất kỳ thông tin hữu ích trong mẫu này? Tôi biết rằng chuỗi Markov ở đây sau đó là tạm thời hoặc không lặp lại. Có bất kỳ sự thay đổi tích cực nào nếu nó không tái phát ?$f(x|\theta)$$\theta$

Cuối cùng, trong câu trả lời của Neil G ở đây , anh đề cập đến

bạn thường có thể lấy mẫu (sử dụng MCMC) từ phía sau ngay cả khi điều đó không đúng.

Ông đề cập việc lấy mẫu như vậy là phổ biến trong học tập sâu. Nếu điều này là đúng, làm thế nào điều này có ý nghĩa?

Lấy mẫu từ một hậu thế không phù hợp (mật độ) $f$$f$$(\Omega,\sigma,{\mathbb P})$

Nếu bạn có một mô hình với trước không phù hợp dẫn đến hậu thế không phù hợp, trong nhiều trường hợp, bạn vẫn có thể lấy mẫu từ mô hình đó bằng MCMC, ví dụ như Metropolis-Hastings và "mẫu sau" có thể trông hợp lý. Điều này có vẻ hấp dẫn và nghịch lý từ cái nhìn đầu tiên. Tuy nhiên, lý do cho điều này là các phương pháp MCMC bị giới hạn ở các giới hạn số lượng của các máy tính trong thực tế và do đó, tất cả các hỗ trợ đều bị giới hạn (và rời rạc!) Cho một máy tính. Sau đó, dưới những hạn chế đó (giới hạn và sự rời rạc), hậu thế thực sự phù hợp trong hầu hết các trường hợp.

Có một tài liệu tham khảo tuyệt vời của Hobert và Casella đưa ra một ví dụ (có tính chất hơi khác biệt) trong đó bạn có thể xây dựng một bộ lấy mẫu Gibbs cho một hậu thế, các mẫu sau trông hoàn toàn hợp lý, nhưng sau đó không đúng!

http://www.jstor.org/urdy/2291572

Một ví dụ tương tự gần đây đã xuất hiện ở đây . Trên thực tế, Hobert và Casella cảnh báo người đọc rằng các phương pháp MCMC không thể được sử dụng để phát hiện sự không phù hợp của hậu thế và điều này phải được kiểm tra riêng trước khi thực hiện bất kỳ phương pháp MCMC nào. Tóm tắt:

1. Một số bộ lấy mẫu MCMC, chẳng hạn như Metropolis-Hastings, có thể (nhưng không nên) được sử dụng để lấy mẫu từ một hậu thế không chính xác kể từ khi giới hạn máy tính và phân bổ không gian tham số. Chỉ khi bạn có những mẫu khổng lồ , bạn mới có thể quan sát một số điều kỳ lạ. Bạn có thể phát hiện những vấn đề này tốt đến mức nào tùy thuộc vào phân phối "công cụ" được sử dụng trong bộ lấy mẫu của bạn. Điểm thứ hai đòi hỏi một cuộc thảo luận rộng rãi hơn, vì vậy tôi thích để nó ở đây.
2. (Hobert và Casella). Việc bạn có thể xây dựng một bộ lấy mẫu Gibbs (mô hình có điều kiện) cho một mô hình có trước không phù hợp không có nghĩa là hậu thế (mô hình chung) là phù hợp.
3. Một cách giải thích xác suất chính thức của các mẫu sau đòi hỏi sự sở hữu của hậu thế. Kết quả hội tụ và bằng chứng chỉ được thiết lập cho các phân phối / biện pháp xác suất thích hợp.

PS (hơi tặc lưỡi): Đừng luôn tin vào những gì mọi người làm trong Machine Learning. Như giáo sư Brian Ripley đã nói: "học máy là số liệu thống kê trừ đi mọi kiểm tra về mô hình và giả định".

Đưa ra một cách khác, áp dụng nhiều hơn, từ câu trả lời xuất sắc của Rod ở trên -

$+/- 10^{100}$

$1/x$trước - một cái tôi sử dụng để tính toán, không có giới hạn trên và "tính năng bổ sung" của nó có giá trị bằng 0 so với dân số San Francisco ... ", với" tính năng bổ sung "được áp dụng trong một bước tiếp theo để tạo mẫu. Ưu tiên thực sự không phải là bước được sử dụng trong tính toán MCMC (trong ví dụ của tôi.)

Vì vậy, về nguyên tắc tôi sẽ khá ổn khi sử dụng mẫu do MCMC tạo ra từ phân phối không phù hợp trong công việc được áp dụng, nhưng tôi sẽ chú ý nhiều đến việc làm thế nào không đúng và làm thế nào mẫu ngẫu nhiên sẽ bị ảnh hưởng bởi nó . Lý tưởng nhất là mẫu ngẫu nhiên sẽ không bị ảnh hưởng bởi nó, như trong ví dụ về con chó nóng của tôi, trong một thế giới hợp lý, bạn sẽ không bao giờ thực sự tạo ra một số ngẫu nhiên lớn hơn số người ở San Francisco ...

Bạn cũng nên lưu ý rằng thực tế là kết quả của bạn có thể khá nhạy cảm với tính năng của hậu thế khiến nó không phù hợp, ngay cả khi bạn cắt bớt nó ở một số lượng lớn sau đó (hoặc bất kỳ thay đổi nào phù hợp với mô hình của bạn. ) Bạn muốn kết quả của mình mạnh mẽ trước những thay đổi nhỏ làm thay đổi hậu thế của bạn từ không phù hợp thành đúng đắn. Điều này có thể khó đảm bảo hơn, nhưng là một phần của vấn đề lớn hơn trong việc đảm bảo kết quả của bạn mạnh mẽ với các giả định của bạn, đặc biệt là các kết quả được tạo ra để thuận tiện.