Một hướng dẫn và tài liệu tham khảo lấy mẫu Gibbs tốt

Tôi muốn tìm hiểu cách Gibbs Sampling hoạt động và tôi đang tìm kiếm một bài báo cơ bản đến trung cấp tốt. Tôi có một nền tảng khoa học máy tính và kiến ​​thức thống kê cơ bản.

Bất cứ ai đã đọc tài liệu tốt xung quanh? nơi mà bạn đã tìm hiểu nó?

Cảm ơn

Tôi sẽ bắt đầu với:

Casella, George; George, Edward I. (1992). " Giải thích về bộ lấy mẫu Gibbs ". Thống kê người Mỹ 46 (3): 167 Từ174. ( PDF MIỄN PHÍ )

Tóm tắt : Các thuật toán chuyên sâu về máy tính, như bộ lấy mẫu Gibbs, đã trở thành các công cụ thống kê ngày càng phổ biến, cả trong công việc ứng dụng và lý thuyết. Các thuộc tính của các thuật toán như vậy, tuy nhiên, đôi khi có thể không rõ ràng. Ở đây chúng tôi đưa ra một lời giải thích đơn giản về cách thức và lý do tại sao bộ lấy mẫu Gibbs hoạt động. Chúng tôi phân tích thiết lập các thuộc tính của nó trong một trường hợp đơn giản và cung cấp cái nhìn sâu sắc cho các trường hợp phức tạp hơn. Ngoài ra còn có một số ví dụ.

Thống kê người Mỹ thường là một nguồn tốt cho các bài viết giới thiệu ngắn (ish) không có bất kỳ kiến ​​thức nào trước đây về chủ đề này, mặc dù họ cho rằng bạn có kiến ​​thức cơ bản và thống kê có thể dự kiến ​​hợp lý của một thành viên người Mỹ Hiệp hội thống kê .

Một bài viết trực tuyến thực sự giúp tôi hiểu Gibbs Sampling là Ước tính tham số để phân tích văn bản của Gregor Heinrich. Đây không phải là một hướng dẫn lấy mẫu Gibbs chung nhưng nó thảo luận về khía cạnh phân bổ dirichlet tiềm ẩn, một mô hình Bayesian khá phổ biến để mô hình hóa tài liệu. Nó đi vào toán học một cách chi tiết.

Một chi tiết thậm chí còn đi sâu vào chi tiết toán học là Gibbs Sampling for the Uninitiated . Và tôi có nghĩa là toàn diện ở chỗ nó giả định rằng bạn biết một số phép tính đa biến và sau đó đưa ra từng bước từ thời điểm đó. Vì vậy, trong khi có rất nhiều toán học, không có môn nào tiến bộ.

Tôi cho rằng những điều này sẽ hữu ích hơn cho bạn sau đó một cái gì đó có được kết quả nâng cao hơn, chẳng hạn như những kết quả chứng minh tại sao việc lấy mẫu Gibbs hội tụ đến phân phối chính xác. Các tài liệu tham khảo tôi chỉ ra không chứng minh điều này.

Cuốn sách Chiến lược Monte Carlo trong tính toán khoa học là một tài nguyên tuyệt vời. Nó giải quyết mọi thứ theo một cách nghiêm ngặt về mặt toán học, nhưng bạn có thể dễ dàng bỏ qua các phần toán học không khiến bạn quan tâm và vẫn nhận được vô số lời khuyên thực tế từ đó. Đặc biệt, nó thực hiện tốt công việc liên kết lấy mẫu của Metropolis-Hastings và Gibbs, điều này rất quan trọng. Trong hầu hết các ứng dụng, bạn sẽ cần rút ra từ phân phối sau bằng cách lấy mẫu Gibbs, và vì vậy, biết cách nó phù hợp với logic của Metropolis nói chung là hữu ích.