Bootstrapping vs Bayesian Bootstrapping về mặt khái niệm?

Tôi đang gặp khó khăn trong việc hiểu quy trình Bootstrapping của Bayes là gì và nó khác với bootstrapping thông thường của bạn như thế nào. Và nếu ai đó có thể đưa ra một đánh giá trực quan / khái niệm và so sánh cả hai, điều đó sẽ rất tuyệt.

Hãy lấy một ví dụ.

Giả sử chúng tôi có bộ dữ liệu X là [1,2,5,7,3].

Nếu chúng tôi lấy mẫu thay thế nhiều lần để tạo kích thước mẫu bằng với kích thước của X (vì vậy, [7,7,2,5,7], [3,5,2,2,7], v.v.), và sau đó chúng tôi tính toán phương tiện của mỗi, đó có phải là phân phối bootstrap của mẫu có nghĩa không?

Điều gì sẽ là phân phối bootstrap của Bayesian đó?

Và cách phân phối bootstrap của Bayesian của các tham số khác (phương sai, v.v.) được thực hiện theo cùng một cách?

Bootstrap (thường xuyên) lấy dữ liệu làm xấp xỉ hợp lý cho phân bố dân số chưa biết. Do đó, phân phối lấy mẫu của một thống kê (một chức năng của dữ liệu) có thể được xấp xỉ bằng cách lặp lại nhiều lần các quan sát với sự thay thế và tính toán thống kê cho từng mẫu.

Đặt biểu thị dữ liệu gốc. (Trong ví dụ đã cho, ) Đặt biểu thị một mẫu bootstrap. Một mẫu như vậy có thể sẽ có một số quan sát lặp đi lặp lại một hoặc nhiều lần và các quan sát khác sẽ không có. Giá trị trung bình của mẫu bootstrap được cho bởiĐó là sự phân phối của qua một số bản sao bootstrap được sử dụng để xấp xỉ phân phối lấy mẫu từ dân số chưa biết.n = 5 y b = ( y b 1 , ... , y b n ) m b = $y = (y_1,\ldots,y_n)$$n=5$$y^b = (y_1^b, \ldots, y_n^b)$m

$$m_b = \frac{1}{n} \sum_{i=1}^n y_i^b.$$ $m_b$

Để hiểu được mối liên hệ giữa bootstrap thường xuyên và bootstrap Bayesian, bạn nên xem cách tính từ một góc nhìn khác.$m_b$

Trong mỗi mẫu bootstrap , mỗi lần quan sát xảy ra ở bất cứ đâu từ 0 đến lần. Đặt là số lần xảy ra trong và để . Do đó và . Cho , chúng ta có thể xây dựng một tập hợp các trọng số không âm có tổng bằng một: , trong đó . Với ký hiệu này, chúng ta có thể xem lại giá trị trung bình của mẫu bootstrap là y i n h b i y i y b h b = ( h b 1 , ... , h b n ) h b i ∈ { 0 , 1 , ... , n - 1 , n } Σ n i = 1 h b i = n h b w b = h b $y^b$$y_i$$n$$h_i^b$$y_i$$y^b$$h^b = (h_1^b, \ldots, h_n^b)$$h_i^b \in \{0, 1, \ldots, n-1,n\}$$\sum_{i=1}^n h_i^b = n$$h^b$w b i = h b i / n m b = n ∑ i = 1 w b $w^b = h^b/n$$w_i^b = h_i^b/n$

$$m_b = \sum_{i=1}^n w_i^b\, y_i.$$

Cách thức quan sát được chọn cho mẫu bootstrap xác định phân phối chung cho . Cụ thể, có phân phối đa cực và do đóDo đó, chúng ta có thể tính bằng cách vẽ từ phân phối của nó và tính toán sản phẩm chấm với . Từ quan điểm mới này, có vẻ như các quan sát được cố định trong khi các trọng số khác nhau.h b ( $w^b$$h^b$m b w b

$$(n\,w^b) \sim \textsf{Multinomial}(n,(1/n)_{i=1}^n).$$ $m_b$$w^b$$y$

Trong suy luận Bayes, các quan sát thực sự được coi là cố định, vì vậy quan điểm mới này có vẻ phù hợp với cách tiếp cận của Bayes. Thật vậy, việc tính toán giá trị trung bình theo bootstrap của Bayes chỉ khác nhau ở sự phân bố trọng lượng. (Tuy nhiên, từ quan điểm khái niệm, bootstrap Bayes khá khác so với phiên bản thường xuyên.) Dữ liệu được cố định và trọng số là các tham số chưa biết. Chúng tôi có thể quan tâm đến một số chức năng của dữ liệu phụ thuộc vào các tham số chưa biết: w μ = n ∑ i = 1 w $y$$w$

$$\mu = \sum_{i=1}^n w_i\, y_i.$$

Dưới đây là một bản phác thảo hình thu nhỏ của mô hình đằng sau bootstrap Bayesian: Phân phối lấy mẫu cho các quan sát là đa cực và ưu tiên cho các trọng số là phân phối Dirichlet giới hạn đặt toàn bộ trọng lượng của nó lên các đỉnh của đơn giản. (Một số tác giả gọi mô hình này là mô hình khả năng đa quốc gia .)

Mô hình này tạo phân phối sau cho các trọng số: (Phân phối này không thay đổi so với đơn giản.) Hai phân phối cho các trọng số (thường xuyên và Bayes) khá giống nhau: Chúng có cùng phương tiện và hiệp phương sai tương tự. Phân phối Dirichlet 'mượt mà' hơn phân phối đa cực, do đó, bootstrap Bayes có thể được gọi là bootstrap được làm mịn. Chúng tôi có thể giải thích bootstrap thường xuyên là một xấp xỉ với bootstrap Bayes.

$$w \sim \textsf{Dirichlet}(1,\ldots,1).$$

Căn cứ vào phân bố sau đối với khối lượng, chúng ta có thể xấp xỉ phân bố sau của các chức năng bằng cách lấy mẫu lặp đi lặp lại từ phân phối Dirichlet và tính toán các sản phẩm chấm với .$\mu$$w$$y$

Chúng ta có thể áp dụng khung ước lượng các phương trình trong đó là một vectơ của các hàm ước tính phụ thuộc vào tham số không xác định (vectơ) và là vectơ số không. Nếu hệ phương trình này có một giải pháp duy nhất cho cho và , thì chúng ta có thể tính toán phân phối sau của nó bằng cách vẽ từ phân phối sau của nó và đánh giá giải pháp đó. (Khung ước lượng các phương trình được sử dụng với khả năng thực nghiệm và với phương pháp tổng quát của các khoảnh khắc (GMM).)

$$\sum_{i=1}^n w_i\, g(y_i,\theta) = \underline 0,$$ $g(y_i,\theta)$$\theta$$\underline 0$$\theta$$y$$w$$w$

Trường hợp đơn giản nhất là trường hợp chúng tôi đã xử lý: Đối với giá trị trung bình và phương sai, chúng tôi có Việc thiết lập có liên quan nhiều hơn một chút so với bootstrap thường xuyên, đó là lý do tại sao một Bayes có thể chấp nhận bootstrap thường xuyên như một xấp xỉ nhanh chóng.

$$\sum_{i=1}^n w_i\,(y_i - \mu) = 0.$$ $\theta = (\mu,v)$ $$g(y_i,\theta) = \begin{pmatrix} y_i - \mu \\ (y_i - \mu)^2 - v \end{pmatrix}.$$