Mối quan hệ giữa kích thước mẫu và ảnh hưởng của trước đến sau là gì?

17

Nếu chúng ta có cỡ mẫu nhỏ, phân phối trước có ảnh hưởng đến phân phối sau không?

bayesian sample-size prior

— tạm biệt j
nguồn

5

Trực giác rất rõ ràng: bạn càng có nhiều dữ liệu, bạn càng ít phải dựa vào các linh mục của mình. Không chỉ là một bài học thống kê, mà là một bài học cuộc sống! ;)

— Lucas Reis

27

Đúng. Phân phối sau cho một tham số , được cung cấp một tập dữ liệu có thể được viết là $\theta$ ${\bf X}$

p (θ | X) \propto \underset{l i k e l i h o o d}{\underset{⏟}{p (X | θ)}} \cdot \underset{p r i o r}{\underset{⏟}{p (θ)}}

$p(\theta | {\bf X}) \propto \underbrace{p({\bf X} | \theta)}_{{\rm likelihood}} \cdot \underbrace{p(\theta)}_{{\rm prior}}$

hoặc, như thường được hiển thị trên thang đo nhật ký,

\log (p (θ | X)) = c + L (θ; X) + \log (p (θ))

$\log( p(\theta | {\bf X}) ) = c + L(\theta;{\bf X}) + \log(p(\theta))$

Khả năng đăng nhập, , chia tỷ lệ với kích thước mẫu , vì đó là một chức năng của dữ liệu, trong khi mật độ trước thì không. Do đó, khi kích thước mẫu tăng, giá trị tuyệt đối của sẽ ngày càng lớn hơn trong khi vẫn cố định (đối với giá trị cố định là ), do đó, tổng bị ảnh hưởng nặng nề hơn bởi khi kích thước mẫu tăng. $L(\theta;{\bf X}) = \log \left( p({\bf X}|\theta) \right)$ $L(\theta;{\bf X})$ $\log(p(\theta))$ $\theta$ $L(\theta;{\bf X}) + \log(p(\theta))$ $L(\theta;{\bf X})$

Do đó, để trả lời trực tiếp câu hỏi của bạn - phân phối trước trở nên ít hơn và ít liên quan hơn khi nó trở nên vượt trội so với khả năng. Vì vậy, đối với kích thước mẫu nhỏ, phân phối trước có vai trò lớn hơn nhiều. Điều này đồng ý với trực giác vì, bạn hy vọng rằng các thông số kỹ thuật trước đó sẽ đóng vai trò lớn hơn khi không có nhiều dữ liệu để từ chối chúng trong khi, nếu kích thước mẫu rất lớn, tín hiệu có trong dữ liệu sẽ lớn hơn bất cứ điều gì tiên nghiệm niềm tin đã được đưa vào mô hình.

— Vĩ mô
nguồn

6

+1 Lưu ý rằng cũng phụ thuộc vào .

c

$c$

n

$n$

20

Đây là một nỗ lực để minh họa đoạn cuối trong câu trả lời xuất sắc (+1) của Macro. Nó hiển thị hai mục sư cho tham số trong phân phối . Đối với một vài khác nhau , các phân phối sau được hiển thị khi đã được quan sát. Khi phát triển, cả hai hậu thế ngày càng tập trung vào khoảng . $p$ ${\rm Binomial}(n,p)$ $n$ $x=n/2$ $n$ $1/2$

Với sự khác biệt là khá lớn, nhưng với thì hầu như không có sự khác biệt. $n=2$ $n=50$

Hai mục sư dưới đây là (màu đen) và (màu đỏ). Các hậu thế có màu sắc giống như các linh mục mà họ có nguồn gốc. ${\rm Beta(1/2,1/2)}$ ${\rm Beta(2,2)}$

Phân phối sau

(Lưu ý rằng đối với nhiều mô hình khác và các linh mục khác, sẽ không đủ để ưu tiên không quan trọng!) $n=50$

— MånsT
nguồn

4

Hình minh họa rất tuyệt, @ MånsT. Tôi đã in nghiêng các từ 'Beta' và 'Binomial' trong câu trả lời của bạn - Tôi hy vọng bạn không phiền.

— Macro

Tất nhiên là không rồi, @Macro! Tôi đồng ý rằng nó có vẻ tốt hơn theo cách này.

— MånsT