Làm thế nào là ?

Tôi bắt đầu đọc về ước tính khả năng tối đa và thống kê Bayes gần đây. Tôi hiểu rằng đã đưa ra một mô hình thống kê trong đó, thuộc về một không gian tham số lớn , phân kỳ KL giữa và ( là đúng tham số chúng tôi muốn tìm) được thu nhỏ cho tối đa hóa . Giả sử các sự kiện là độc lập và phân phối giống hệt nhau, số tiền này tối đa hóa xác suất chung$(X, (P_\theta))$$\theta$$\Theta$$P_\theta$$P_\theta*$$\theta^*$$\theta$$\prod_{i=1}^{n}p_\theta(X_i)$$P[X_1=x_1, X_2=x_2, ...,X_n=x_n].$ (giả định độc lập cho phép đánh đồng điều này với sản phẩm của các yếu tố riêng lẻ)

Cách tiếp cận Bayes, chiếm niềm tin trước vào việc phân phối , và tối đa hóa , theo quy tắc Bayes tương đương với tối đa hóa, . Tôi hiểu những điều cho đến phần này. Sau này, được gọi là "khả năng" và được thay thế bằng , đây chỉ là sản phẩm có xác suất riêng lẻ của X trong phân phối . Điều này có nghĩa là thực sự là , tức là xác suất được đưa ra$\theta$$P(\theta)$$P(\theta|X)$$P(X|\theta)P(\theta)/P(X)$$P(X|\theta)$$P[X_1=x_1, X_2=x_2, ...,X_n=x_n]$$P_\theta$$P[X_1=x_1, X_2=x_2, ...,X_n=x_n]$$P_\theta[X_1=x_1, X_2=x_2, ...,X_n=x_n]$$\theta$, hoặc điều tương tự ?

Tôi không giỏi về xác suất và phân phối, và tôi hiểu rằng đối tượng được gọi là xác suất có điều kiện và đối tượng (bằng bởi tính độc lập) được gọi là xác suất chung và chúng là những thứ rất khác nhau. Tôi đã thấy các tác giả sử dụng cho xác suất chung trong khả năng tối đa trong một số trường hợp. Tôi bối rối tại sao xác suất chung và xác suất có điều kiện được coi là bằng nhau?$P(X|\theta)$$P[X_1=x_1, X_2=x_2, ...,X_n=x_n]$$\prod_{i=1}^{n}p_\theta(X_i)$$P(X;\theta)$

Có một vài vấn đề ở đây:

1. Trong thống kê cổ điển, tất cả các bản phân phối được sử dụng đều có điều kiện ngầm trên , được coi là "hằng số chưa biết". Trong phân tích Bayes không có thứ gọi là hằng số chưa biết (bất cứ điều gì chưa biết được coi là biến ngẫu nhiên) và thay vào đó chúng tôi sử dụng các câu lệnh điều hòa rõ ràng cho tất cả các câu lệnh xác suất.$\theta$

2. Điều này có nghĩa là, trong phân tích Bayes, mật độ lấy mẫu là đối tượng mà bạn đã đề cập trong trường hợp cổ điển. (Hàm khả năng chỉ là mật độ lấy mẫu được coi là hàm của tham số với được cố định.) Điều đó cũng có nghĩa là mật độ trong phân tích Bayes không có điều kiện trên . Đó là mật độ biên của dữ liệu, được cho bởi:$P(X|\theta)$$P_\theta(X)$$\theta$$X=x$$P(X)$$\theta$

   $$P(X) = \int \limits_{\Theta} P(X|\theta) P(\theta) \ d \theta.$$ Có một vài chỗ trong câu hỏi của bạn, nơi bạn có một chút cẩu thả với các câu lệnh điều hòa, và cuối cùng bạn đã tương đương hóa các phân phối có điều kiện và cận biên của dữ liệu. Đó không phải là một vấn đề lớn trong thống kê cổ điển (vì tất cả các báo cáo xác suất đều có điều kiện ngầm đối với tham số), nhưng nó sẽ gây rắc rối cho bạn trong phân tích Bayes.

3. Các ký hiệu thường chỉ được sử dụng trong thống kê cổ điển, và nó được sử dụng để biểu thị những điều tương tự như --- ví dụ, đó là mặc nhiên mật độ có điều kiện của các dữ liệu cho tham số . Sẽ là bất thường (và khó hiểu) khi sử dụng ký hiệu này cho mật độ khớp.$P(X ; \theta)$$P_\theta(X)$

4. Phương pháp Bayes theo đó bạn tối đa hóa phân phối sau đối với tham số là phương pháp ước lượng điểm được gọi là ước tính a-posteriori (MAP) tối đa . Đây là một phương pháp ước tính điểm cung cấp cho bạn một ước tính điểm duy nhất. Bạn nên nhớ rằng người Bayes thường quan tâm đến việc giữ lại toàn bộ mật độ sau, vì điều này chứa nhiều thông tin hơn công cụ ước tính MAP.

Tôi sẽ sử dụng một ký hiệu đơn giản hóa trong câu trả lời này. Nếu bạn đang thực hiện thống kê cổ điển, không phải là biến ngẫu nhiên. Do đó, ký hiệu đang mô tả một thành viên của một họ hàm xác suất hoặc mật độ , trong đó là tham số không gian. Trong phân tích Bayes, là một biến ngẫu nhiên và là một hàm xác suất hoặc mật độ có điều kiện, mô hình độ không chắc chắn của bạn về cho mỗi giá trị có thể của . Sau khi bạn thực hiện xong thử nghiệm của mình, không còn sự không chắc chắn về$\theta$$p(x;\theta)$$\{p_\theta(x)\}_{\theta\in\Theta}$$\Theta$$\theta$$p(x\mid\theta)$$x$$\theta$$x$(nó trở thành dữ liệu / thông tin bạn biết) và bạn xem là một hàm của , cho dữ liệu "cố định" này . Hàm khả năng này sống trong giao điểm giữa các kiểu suy luận cổ điển và Bayes. Theo tôi, cách Bayes được hiểu rõ hơn về mặt độc lập có điều kiện . Tôi đề nghị bạn viết ra và khám phá hàm khả năng cho mô hình Bernoulli; vẽ đồ thị nó; nghĩ về ý nghĩa của nó trước và sau khi thí nghiệm được tiến hành. Bạn đã đề cập rằng một Bayes tối đa hóa hậu thế$p(x\mid \theta)=L_x(\theta)$$\theta$$x$$L_x(\theta)$$\pi(\theta\mid x)$. Đó không hẳn là trường hợp. Có nhiều cách khác để tóm tắt phân phối sau. Về cơ bản, bản tóm tắt được chọn phụ thuộc vào việc giới thiệu hàm mất. Kiểm tra sự lựa chọn Bayesian của Robert để tìm hiểu tất cả các thông tin chi tiết.