Tại sao Quy trình Dirichlet không phù hợp cho các ứng dụng trong phần không đối xứng Bayes?

Bản chất riêng biệt của DP làm cho nó không phù hợp cho các ứng dụng chung trong không đối xứng Bayes, nhưng nó rất phù hợp cho vấn đề đặt linh mục lên các thành phần hỗn hợp trong mô hình hỗn hợp.

Trích dẫn này là từ Quy trình Dirichlet phân cấp (Teh, et al, (2006) ) và tôi đang tìm kiếm một lời giải thích về ý nghĩa của nó. Bayesian nonparametrics dường như là một thuật ngữ quá mơ hồ đối với tôi để hiểu những gì tác giả đang đề cập đến. $^{[1]}$

${[1]}$ Teh, YW, Jordan, MI, Beal, MJ, Blei, DM (2006): "Các quy trình Dirichlet phân cấp". Tạp chí của Hiệp hội Thống kê Hoa Kỳ , 101, trang 1566 Từ1581.

machine-learning mcmc dirichlet-process

— ankit
nguồn

Tôi tin rằng mô tả 'rời rạc' đề cập đến thực tế rút ra từ quy trình Dirichlet là rời rạc với xác suất (nó xuất phát từ biểu diễn phá vỡ thanh của DP).

— ankit

Bạn sẽ phải giải thích. Nếu tôi bẻ một cây gậy thành mảnh trong một số thời trang, sự phân phối của độ dài thanh là liên tục.

k

$k$

— Glen_b -Reinstate Monica

@Glen_b: Trực giác của bạn khớp với tôi, nhưng bộ ankit giấy được liên kết với nội dung "rút ra từ DP là rời rạc (với xác suất một)". Tôi không thể làm theo lập luận của họ, nhưng tôi tôn trọng các tác giả.

— David J. Harris

@ DavidJ.Harris có, đọc về nó, có vẻ như - không nhất quán với cách từ 'quy trình' thường được liên kết với các bản phân phối - để đề cập đến cái mà tôi đã gọi là một "quy trình đa quốc gia" hoặc "đa phương thức" hỗn hợp ', vì đầu ra là thể loại. (Lược đồ đặt tên này sẽ giống như đề cập đến thời gian giữa các sự kiện như là một 'quá trình Poisson', chứ không phải là số lượng sự kiện như bình thường, hoặc có thể coi quá trình Bernoulli là một 'quá trình beta' bởi vì đã có bản beta trước xác suất Bernoulli.)

— Glen_b -Reinstate Monica

Nó phụ thuộc vào việc bạn nghĩ số "số vô hạn" của số thực là đại diện cho số thực. Tôi đã có thể nghĩ rằng nó là như vậy, do đó cung cấp một lập luận chống lại yêu cầu trên.

— xác suất

Với xác suất thứ nhất, việc thực hiện Quy trình Dirichlet là các biện pháp xác suất rời rạc. Một bằng chứng nghiêm ngặt có thể được tìm thấy trong

Blackwell, D. (1973). "Sự không thống nhất của các lựa chọn của Ferguson", Biên niên sử về thống kê, 1 (2): 356

Đại diện phá vỡ thanh của Quy trình Dirichlet làm cho tính chất này trở nên minh bạch.

$B_i\sim\mathrm{Beta}(1,c)$ $i\geq 1$
$P_1=B_1$ $P_i=B_i \prod_{j=1}^{i-1}(1-B_j)$ $i>1$
$Y_i\sim F$ $i\geq 1$
$G (t, ω) = \sum_{i = 1}^{\infty} P_{i} (ω) I_{[Y_{i} (ω), \infty)} (t)$ $G(t,\omega)=\sum_{i=1}^\infty P_i(\omega) I_{[Y_i(\omega),\infty)}(t)$ $c$ $F$

$F$ $X_1,\dots,X_n$

Về câu hỏi ban đầu, bạn có thể thấy rằng Quy trình Dirichlet đơn giản có thể không phù hợp để mô hình hóa một số vấn đề của không đối xứng Bayes, như vấn đề ước tính mật độ Bayes, nhưng các phần mở rộng phù hợp của Quy trình Dirichlet có sẵn để xử lý các trường hợp này.

— thiền học
nguồn

Tại sao nó là xấu để ước tính mật độ bằng một phân phối rời rạc? Điều này có nghĩa là cầu phương cũng xấu và không phù hợp?

— xác suất

Tôi đã không nói nó là "xấu". Nhưng giả sử rằng bạn có thông tin tốt trước về độ mịn của mật độ ngẫu nhiên. Bạn không thể sử dụng thông tin trước nếu bạn đang lập mô hình với DP đơn giản. Đó là điều mà tôi có trong đầu.

— Zen

Tôi sẽ không đồng ý - độ mịn có thể được kiểm soát bằng cách chọn tham số nồng độ và hình dạng của phân bố cơ sở.

— xác suất

Nếu bạn đang lập mô hình với DP gốc, sử dụng bất kỳ thước đo cơ sở nào, phân phối sau không bao giờ có mật độ liên quan đến meausure của Lebesgue.

— Zen

Bạn đang bối rối khi có một mật độ trơn tru - một phân phối rời rạc cũng không có mật độ, nhưng điều đó không có nghĩa là nó không trơn tru - ví dụ như một nhị thức (n, p) với n lớn về cơ bản là trơn tru như bình thường pdf

— xác suất