Suy luận Bayes về tổng các biến ngẫu nhiên có giá trị thực iid

Đặt , , ..., là iid RV với phạm vi nhưng phân phối không xác định. (Tôi đồng ý với việc giả định rằng việc phân phối là liên tục, v.v., nếu cần.) $X_1$ $X_2$ $X_n$ $[0,1]$

Xác định . $S_n = X_1 + \cdots + X_n$

Tôi được đưa cho và hỏi: Tôi có thể suy ra điều gì, theo cách nói của Bayes, về ? $S_k$ $S_n$

Đó là, tôi được trao tổng của một mẫu có kích thước của RV, và tôi muốn biết những gì tôi có thể suy luận về việc phân phối tổng của tất cả các RV, sử dụng phương pháp Bayes (và giả sử các linh mục hợp lý về phân phối). $k$

Nếu hỗ trợ là thay vì , thì vấn đề này được nghiên cứu kỹ và (với các linh mục thống nhất) bạn có được các bản phân phối hợp chất beta-nhị thức cho phân phối được suy ra trên . Nhưng tôi không chắc cách tiếp cận nó với như phạm vi ... $\{0,1\}$ $[0,1]$ $S_n$ $[0,1]$

Tiết lộ đầy đủ : Tôi đã đăng bài này trên MathOverflow , nhưng được thông báo rằng nó sẽ được đăng tốt hơn ở đây, vì vậy đây là một bài đăng lại.

bayesian inference

— Ronald L Rivest
nguồn

Tôi đã định viết bình luận cho bạn trên MO, nhưng tôi sẽ viết nó ở đây để thay thế. Nếu bạn cảm thấy câu hỏi phù hợp hơn với diễn đàn này, bạn có thể gắn cờ nó trên MO và yêu cầu đóng lại.

— Đức Hồng Y

Tôi muốn làm rõ một số tuyên bố cuối cùng của bạn. Nếu phạm vi là thì bất kỳ phân phối nào đặt bất kỳ khối lượng nào lên các giá trị không nằm trong cho phân phối có vẻ ngớ ngẩn, vì vậy tôi tự hỏi liệu tôi ' đã hiểu mục tiêu của bạn một cách chính xác. (Có lẽ một tài liệu tham khảo sẽ hữu ích.)

{0, 1}

$\{0,1\}$

{0, 1, \dots, n}

$\{0,1,\ldots,n\}$

S_{k}

$S_k$

— Hồng y

Tôi đã hiểu lầm điều gì?

— Đức Hồng Y

Bạn có quan tâm đến phi thông số Bayes? Nếu bạn không muốn đưa ra các giả định về việc phân phối , bạn cần một khung không tham số. Nhưng sau đó, chỉ được cung cấp bạn không thể nói nhiều ...

X_{k}

$X_k$

S_{k}

$S_k$

— Xi'an

Đây là những nhận xét tốt; xin lỗi rằng vấn đề là một chút sai lầm. Tôi đã nghĩ rằng n rất lớn so với và rằng phần sau trên sẽ phản ánh trực tiếp phần sau về các tham số. Có lẽ thay vì tôi nên sử dụng và yêu cầu hậu thế trên khi đi đến vô cùng. Điều này có ý nghĩa bây giờ?

k

$k$

S_{n}

$S_n$

S_{n}

$S_n$

S_{n}^{'} = S_{n} / n

$S'_n = S_n/n$

lim S_{n}^{'}

$\lim S'_n$

n

$n$

— Ronald L Rivest

Câu trả lời:

Hãy xem xét các phân tích phi tham số Bayes sau đây.

Xác định và đặt là tập con Borel của . Đặt là số đo hữu hạn khác không . $\mathscr{X}=[0,1]$ $\mathscr{B}$ $\mathscr{X}$ $\alpha$ $(\mathscr{X},\mathscr{B})$

Đặt là một quá trình Dirichlet với tham số và giả sử rằng là iid có điều kiện, với điều kiện , sao cho , với mọi . $Q$ $\alpha$ $X_1,\dots,X_n$ $Q=q$ $\mu_{X_1}(B)=P\{X_1\in B\} = q(B)$ $B\in\mathscr{B}$

Từ các thuộc tính của quy trình Dirichlet, chúng tôi biết rằng, với , phân phối dự đoán của một quan sát trong tương lai như là thước đo over được xác định bởi $X_1,\dots,X_k$ $X_{k+1}$ $\beta$ $(\mathscr{X},\mathscr{B})$

β (B) = \frac{1}{α (X) + k} (α (B) + \sum_{i = 1}^{k} I_{B} (X_{i})) .

$\beta(B) = \frac{1}{\alpha(\mathscr{X})+k} \left( \alpha(B) + \sum_{i=1}^k I_B(X_i)\right) \, .$

Bây giờ, hãy xác định là trường sigma được tạo bởi và sử dụng phép đo và tính đối xứng của để lấy gần như chắc chắn. $\mathscr{F}_k$ $X_1,\dots,X_k$ $X_i$

E [S_{n} ∣ F_{k}] = S_{k} + E [\sum_{i = k + 1}^{n} X_{i} | F_{k}] = S_{k} + (n - k) E [X_{k + 1} ∣ F_{k}],

$E\left[ S_n \mid \mathscr{F}_k \right] = S_k + E\left[ \sum_{i=k+1}^n X_i \,\Bigg\vert\, \mathscr{F}_k \right] = S_k + (n-k) E\left[ X_{k+1} \mid \mathscr{F}_k \right] \, ,$

Để tìm câu trả lời rõ ràng, giả sử rằng là . Xác định , chúng ta có gần như chắc chắn (phân phối chung của ), trong đó . Trong giới hạn "không phù hợp" của , kỳ vọng trước đây giảm xuống , điều đó có nghĩa là, trong trường hợp này, dự đoán sau của bạn cho chỉ gấp lần giá trị trung bình của đầu tiên $\alpha(\cdot)/\alpha(\mathscr{X})$ $U[0,1]$ $c=\alpha(\mathscr{X})>0$

E [S_{n} ∣ X_{1} = x_{1}, \dots, X_{k} = x_{k}] = s_{k} + \frac{n - k}{c + k} (\frac{c}{2} + s_{k}),

$E\left[ S_n \mid X_1=x_1,\dots,X_k=x_k \right] = s_k + \frac{n-k}{c+k}\left(\frac{c}{2}+s_k\right) \, ,$

[μ_{X_{1}, \dots, X_{k}}]

$[\mu_{X_1,\dots,X_k}]$

X_{1}, \dots, X_{k}

$X_1,\dots,X_k$

s_{k} = x_{1} + \dots + x_{k}

$s_k=x_1+\dots+x_k$

c \to 0

$c\to 0$

n \cdot (s_{k} / k)

$n\cdot (s_k/k)$

S_{n}

$S_n$

n

$n$

k

$k$ các quan sát, trông giống như trực quan nhất có thể.

— thiền học
nguồn

Có thể nhận được một biểu thức đẹp cho trong mô hình này không?

Var [S_{n} | S_{k}]

$\text{Var}[S_n|S_k]$

— Cyan

Tha thứ cho việc thiếu lý thuyết đo lường và lạm dụng ký hiệu ở bên dưới ...

Vì đây là suy luận Bayes, nên phải có một số ưu tiên chưa biết trong vấn đề, trong trường hợp này là phân phối , một tham số vô hạn lấy các giá trị trong tập phân phối trên (gọi nó là ). Phân phối dữ liệu hội tụ thành một phân phối bình thường, vì vậy nếu đủ lớn ( định lý Berry-Esseen ), chúng ta chỉ có thể tát vào đó một cách gần đúng. Hơn nữa, nếu phép tính gần đúng là chính xác thì khía cạnh duy nhất của đó quan trọng về mặt thực tế là cảm ứng trước trên . $X_1$ $[0, 1]$ $\pi$ $S_k|\pi$ $k$ $p(\pi)$ $(\text{E}_\pi(X_1),\text{Var}_\pi(X_1))=(\mu,\sigma^2)$

Bây giờ chúng tôi thực hiện dự đoán Bayes tiêu chuẩn và đưa vào mật độ gần đúng. ( có cùng xấp xỉ với .) $S_n$ $S_k$

$p(S_n|S_k) = \int p(\pi|S_k)p(S_n|\pi,S_k)d\pi$

$p(S_n|S_k) = \int \frac{p(\pi)p(S_k|\pi)}{p(S_k)}p(S_n|\pi,S_k)d\pi$

$p(S_n|S_k) \approx \frac{\int p(\mu,\sigma^2)\text{N}(S_k|k\mu,k\sigma^2)\text{N}(S_n|(n-k)\mu + S_k, (n-k)\sigma^2) d(\mu,\sigma^2)}{\int p(\mu,\sigma^2)\text{N}(S_k|k\mu,k\sigma^2) d(\mu,\sigma^2)}$

Đối với các giới hạn của tích phân , rõ ràng ; Tôi nghĩ ? $\mu \in [0, 1]$ $\sigma^2 \in [0,\frac{1}{4}]$

Đã thêm sau: không,Điều này thật tuyệt - các giá trị được phép của phụ thuộc vào , vì vậy thông tin trong dữ liệu về cũng có liên quan đến . $\sigma^2 \in [0,\mu(1-\mu)].$ $\sigma^2$ $\mu$ $\mu$ $\sigma^2$

— Lục lam
nguồn

Tôi không hiểu đoạn chính của bạn. Trước hết, sự hội tụ thành bình thường chỉ sau một sự thay đổi và giải cứu và đây không phải là định lý Berry - Esseen (là một định lý về tốc độ hội tụ thành bình thường), mà là CLT. Hơn nữa, sự thay đổi và bán lại sẽ phụ thuộc vào tham số cố định cụ thể. Bạn đã xem xét một trường hợp mà bạn có, giả sử, ba điểm trước được phân phối đồng đều trên ?

S_{n}

$S_n$

{0, 1 / 2, 1}

$\{0,1/2,1\}$

— Đức hồng y

Hãy để tôi làm rõ rằng khi tôi viết "bình thường" tôi không có nghĩa là tiêu chuẩn bình thường. Vì vậy, sự thay đổi và quy mô lại thay đổi trung bình và phương sai nhưng sự hội tụ vẫn là một số yếu tố trong gia đình phân phối bình thường. Ý tôi là liên kết đến định lý Berry-Esseen để tham chiếu cụm từ "nếu đủ lớn"; vị trí hiện tại của nó là một lỗi cut-n-paste và tôi sẽ thay đổi nó. Tôi không hiểu câu hỏi của bạn về tham số cố định - bạn có thể làm rõ câu hỏi không?

k

$k$

— Cyan

Re: câu hỏi của hồng y. Lưu ý rằng ưu tiên là phân phối trên các bản phân phối có hỗ trợ trong . Nếu tôi hỏi câu hỏi của bạn theo nghĩa đen, bạn đang hỏi về một ưu tiên có hỗ trợ về ba biến ngẫu nhiên không đổi , đó là chuyện nhỏ để phân tích. Nhưng vì bạn đã viết trong một nhận xét khác "Nếu phạm vi là thì bất kỳ phân phối nào đặt bất kỳ khối lượng nào lên các giá trị không nằm trong cho phân phối có vẻ ngớ ngẩn," Tôi nghĩ bạn ' lại yêu cầu phân phối dữ liệu rời rạc. Câu trả lời ngắn gọn là "không, nó không ngớ ngẩn." Tiếp tục ...

[0, 1]

$[0, 1]$

0, 1

${0,1}$

0, 1, \dots, n

${0,1,…,n}$

S_{k}

$S_k$

— Cyan

Bạn có thể ước chừng phân phối rời rạc với phân phối liên tục .

— Cyan

Tôi nghĩ rằng có một số vấn đề ở đây: (a) Tuyên bố câu hỏi có thể sử dụng một số sàng lọc để làm rõ mục tiêu cuối cùng, (b) câu hỏi, nhận xét và câu trả lời đã bị nhầm lẫn thông qua lỗi chính tả, lỗi tính toán và nhiều luồng hội thoại và (c) các bình luận của tôi được tham chiếu ở trên xuất hiện một chút ngoài ngữ cảnh. Tuyên bố của tôi về (Typo: nên là ) liên quan đến phân phối sau của được đưa ra . Nếu tôi biết thì bất kỳ phân phối sau nào không đặt toàn bộ khối lượng của nó sẽ không thể chấp nhận được.

S_{k}

$S_k$

S_{n}

$S_n$

S_{n}

$S_n$

S_{k}

$S_k$

S_{n} \in {S_{k}, \dots, n}

$S_n \in \{S_k,\ldots,n\}$

— Đức hồng y

Đặt mỗi thuộc họ phân phối và có tham số . $X_i$ $F$ $\theta$

Cho, , chúng tôi có một bản phân phối trên : $S_k$ $\theta$

\begin{aligned} Pr (θ ∣ S_{k}) & = \frac{1}{Z} Pr (θ) Pr (S_{k} ∣ θ) \end{aligned}

$\begin{align} \Pr(\theta \mid S_k) &= \frac1Z \Pr(\theta)\Pr(S_k \mid \theta) \end{align}$

Và, phân phối của chúng tôi trên , là $S_n$ $n \ge k$

\begin{aligned} Pr (S_{n} = i ∣ S_{k}) & = Pr (S_{n - k} = i - S_{k} | S_{k}) \\ = \int Pr (S_{n - k} = i - S_{k} | θ) Pr (θ ∣ S_{k}) d θ \end{aligned}

$\begin{align} \Pr(S_n = i \mid S_k) &= \Pr(S_{n-k} = i - S_k | S_k) \\ &= \int \Pr(S_{n-k} = i - S_k | \theta)\Pr(\theta \mid S_k)d\theta \\ \end{align}$

(và tương tự cho ) $n < k$

Cả hai phương trình này đều có dạng đẹp khi là phân phối trong họ hàm mũ được đóng dưới tổng các phần tử iid như phân phối chuẩn, phân phối gamma và phân phối nhị thức. Nó cũng hoạt động cho các trường hợp đặc biệt của họ như phân phối theo cấp số nhân và phân phối Bernoulli. $F$

Có thể thú vị khi coi là họ của các phân phối nhị thức tỷ lệ (bởi ) với các "thử nghiệm" và đưa giới hạn khi đi đến vô cùng. $F$ $\frac1n$ $n$ $n$

— Neil G
nguồn