Chính xác thì alpha trong bản phân phối Dirichlet là gì?

Tôi khá mới đối với thống kê Bayes và tôi đã tìm thấy một biện pháp tương quan đã được sửa, SparCC , sử dụng quy trình Dirichlet trong phần phụ trợ của thuật toán. Tôi đã cố gắng thực hiện từng bước thuật toán để thực sự hiểu điều gì đang xảy ra nhưng tôi không chắc chính xác alphatham số vectơ làm gì trong phân phối Dirichlet và làm thế nào nó bình thường hóa alphatham số vectơ?

Việc triển khai là Pythonsử dụng NumPy: https://docs.scipy.org/doc/numpy/reference/generated/numpy.random.dirichlet.html

Các tài liệu nói:

alpha: mảng Thông số của phân phối (k chiều cho mẫu của kích thước k).

Những câu hỏi của tôi:

1. Làm thế nào để alphasảnh hưởng đến việc phân phối?;

2. Làm thế nào alphasđược bình thường hóa?; và

3. Điều gì xảy ra khi alphaskhông phải là số nguyên?

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

# Reproducibility
np.random.seed(0)

# Integer values for alphas
alphas = np.arange(10)
# array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

# Dirichlet Distribution
dd = np.random.dirichlet(alphas) 
# array([ 0.        ,  0.0175113 ,  0.00224837,  0.1041491 ,  0.1264133 ,
#         0.06936311,  0.13086698,  0.15698674,  0.13608845,  0.25637266])

# Plot
ax = pd.Series(dd).plot()
ax.set_xlabel("alpha")
ax.set_ylabel("Dirichlet Draw")

Các phân phối Dirichlet là một phân bố xác suất đa biến mô tả biến X 1 , ... , X k , như vậy mà mỗi x i ∈ ( 0 , 1 ) và Σ N i = 1 x i = 1 , đó là parametrized bởi một vector các thông số dương có giá trị α = ( α 1 , ... , α k ) . Các thông số không$k\ge2$$X_1,\dots,X_k$$x_i \in (0,1)$$\sum_{i=1}^N x_i = 1$$\boldsymbol{\alpha} = (\alpha_1,\dots,\alpha_k)$phải là số nguyên, chúng chỉ cần là số thực dương. Chúng không được "chuẩn hóa" theo bất kỳ cách nào, chúng là các tham số của phân phối này.

Phân phối Dirichlet là một khái quát của phân phối beta thành nhiều chiều, vì vậy bạn có thể bắt đầu bằng cách tìm hiểu về phân phối beta. Beta là một phân phối đơn biến của một biến ngẫu nhiên tham số của thông số α và β . Trực giác tốt đẹp về nó đi kèm nếu bạn nhớ lại rằng nó là mộtliên hợp trước khichophân phối nhị thứcvà nếu chúng ta giả định một phiên bản beta trước khi tham số của α và β cho tham số khả năng phân phối nhị thức của p , sau đó phân phối sau của$X \in (0,1)$$\alpha$$\beta$$\alpha$$\beta$$p$$p$cũng là một bản phân phối beta được tham số hóa bởi và β ′ = β + số lần thất bại . Vì vậy, bạn có thể nghĩ về α và β như các giả ngẫu nhiên (chúng không cần phải là số nguyên) của những thành công và thất bại (cũng kiểm tra chủ đề này ).$\alpha' = \alpha + \text{number of successes}$$\beta' = \beta + \text{number of failures}$$\alpha$$\beta$

Trong trường hợp phân phối Dirichlet, nó là liên hợp trước cho phân phối đa thức . Nếu trong trường hợp phân phối nhị thức, chúng ta có thể nghĩ về việc vẽ các quả bóng trắng và đen bằng sự thay thế từ chiếc bình, thì trong trường hợp phân phối đa cực, chúng ta đang vẽ với các quả bóng thay thế xuất hiện trong k màu, trong đó mỗi màu các quả bóng có thể được rút ra với xác suất , ... , α k thông số có thể được coi như pseudocounts của quả bóng của mỗi màu giả một tiên nghiệm (nhưng bạn nên đọc cũng về những cạm bẫy của lập luận như vậy$N$$k$ . Phân phối Dirichlet là một liên hợp trước choxác suất p 1 , R , p k và α $p_1,\dots,p_k$$p_1,\dots,p_k$$\alpha_1,\dots,\alpha_k$). Trong mô hình đa cực Dirichlet được cập nhật bằng cách tổng hợp chúng với số lượng quan sát trong mỗi thể loại: α 1 + n 1 , ... , α k + n k trong thời trang tương tự như trong trường hợp của mô hình beta-nhị thức.$\alpha_1,\dots,\alpha_k$$\alpha_1+n_1,\dots,\alpha_k+n_k$

Giá trị cao hơn , càng "trọng lượng" của X i và số tiền lớn hơn tổng "đại chúng" được gán cho nó (nhớ lại rằng trong tổng số nó phải là x 1 + ⋯ + x k = $\alpha_i$$X_i$$x_1+\dots+x_k=1$ ). Nếu tất cả các bằng nhau, phân phối là đối xứng. Nếu α i < 1 , nó có thể được coi là chống trọng lượng đẩy x i về phía cực trị, trong khi khi nó ở mức cao, nó thu hút x i về một giá trị trung tâm (trung tâm theo nghĩa là tất cả các điểm tập trung xung quanh nó, không phải$\alpha_i$$\alpha_i < 1$$x_i$$x_i$theo nghĩa là nó là đối xứng trung tâm). Nếu , thì các điểm được phân bố đồng đều.$\alpha_1 = \dots = \alpha_k = 1$

Điều này có thể được nhìn thấy trên các ô bên dưới, nơi bạn có thể thấy các phân phối Dirichlet tầm thường (không may là chúng ta có thể tạo ra các lô hợp lý chỉ tối đa ba chiều) được tham số hóa bởi (a) , (b) α 1 = α 2 = α 3 = 10 , (c) α 1 = 1 , $\alpha_1 = \alpha_2 = \alpha_3 = 1$$\alpha_1 = \alpha_2 = \alpha_3 = 10$ , (d) α 1 = α 2 = α $\alpha_1 = 1, \alpha_2 = 10, \alpha_3 = 5$ .$\alpha_1 = \alpha_2 = \alpha_3 = 0.2$

Phân phối Dirichlet đôi khi được gọi là "phân phối trên các phân phối" , vì nó có thể được coi là một phân phối xác suất. Chú ý rằng vì mỗi và Σ k i = 1 x i = 1 , sau đó x i 's phù hợp với người đầu tiên và thứ hai tiên đề xác suất . Vì vậy, bạn có thể sử dụng phân phối Dirichlet như một phân phối xác suất cho các sự kiện riêng biệt được mô tả bởi các phân phối như phân loại hoặc đa phương thức . Nó là$x_i \in (0,1)$$\sum_{i=1}^k x_i = 1$$x_i$không đúng vì đó là phân phối trên bất kỳ phân phối nào, ví dụ: nó không liên quan đến xác suất của các biến ngẫu nhiên liên tục hoặc thậm chí một số biến rời rạc (ví dụ: biến ngẫu nhiên phân tán Poisson mô tả xác suất quan sát các giá trị là bất kỳ số tự nhiên nào, vì vậy nên sử dụng phân phối Dirichlet theo xác suất của chúng, bạn cần vô số biến ngẫu nhiên ).$k$

Tuyên bố miễn trừ trách nhiệm: Tôi chưa bao giờ làm việc với bản phân phối này trước đây. Câu trả lời này được dựa trên này bài viết wikipedia và giải thích của tôi về nó.

---

Phân phối Dirichlet là phân phối xác suất đa biến có các thuộc tính tương tự như phân phối Beta.

PDF được định nghĩa như sau:

$$\{x_1, \dots, x_K\} \sim\frac{1}{B(\boldsymbol{\alpha})}\prod_{i=1}^Kx_i^{\alpha_i - 1}$$

$K \geq 2$$x_i \in (0,1)$$\sum_{i=1}^Kx_i = 1$

Nếu chúng ta nhìn vào bản phân phối Beta có liên quan chặt chẽ:

$$\{x_1, x_2 (=1-x_1)\} \sim \frac{1}{B(\alpha,\beta)}x_1^{\alpha-1}x_2^{\beta-1}$$

chúng ta có thể thấy rằng hai phân phối này giống nhau nếu . Vì vậy, hãy căn cứ vào diễn giải của chúng tôi về điều đó trước rồi sau đó khái quát hóa thành K > 2 .$K=2$$K>2$

---

$\alpha$$\beta$$\alpha_1$$\alpha_2$$A$$B$$\alpha_{1,pos} = \alpha_1 + A$$\alpha_{2,pos}=\alpha_2 + B$

$x_1$$x_2 (=1-x_1)$$A$$B$

---

$K=2$$K$$K=2$$K$$x_i$

$\alpha_i$$\alpha_1$$\alpha_2$$x_i$

Vì vậy, bây giờ để có được câu hỏi của bạn:

Làm thế nào để alphasảnh hưởng đến việc phân phối?

$x_i \in (0,1)$$\sum_{i=1}^Kx_i = 1$$\alpha_i$$K$$\sum_{i=1}^K\alpha_i$$x_i$hoặc xác suất cho mỗi kết quả. Điều này có nghĩa là mật độ sẽ tập trung hơn.

Làm thế nào alphasđược bình thường hóa?

$B(\boldsymbol{\alpha})$

$$B(\boldsymbol{\alpha}) = \frac{\prod_{i=1}^K\Gamma(\alpha_i)}{\Gamma(\sum_{i=1}^K\alpha_i)}$$

$K=2$

$$B(\alpha_1, \alpha_2) = \frac{\Gamma(\alpha_1)\Gamma(\alpha_2)}{\Gamma(\alpha_1+\alpha_2)}$$

Điều này mở rộng đến

$$B(\boldsymbol{\alpha}) = \frac{\Gamma(\alpha_1)\Gamma(\alpha_2)\dots\Gamma(\alpha_K)}{\Gamma(\alpha_1+\alpha_2+\dots+\alpha_K)}$$

Điều gì xảy ra khi bảng chữ cái không phải là số nguyên?

$\alpha_i>1$$\alpha_i < 1$$x_i$$K$$K\geq2$