Cách tiếp cận nhẹ nhàng hơn để thống kê Bayes

Gần đây tôi đã bắt đầu đọc "Giới thiệu về thống kê Bayes" Phiên bản 2 của Bolstad. Tôi đã có một lớp thống kê giới thiệu bao gồm chủ yếu các bài kiểm tra thống kê và gần như thông qua một lớp trong phân tích hồi quy. Những cuốn sách khác tôi có thể sử dụng để bổ sung cho sự hiểu biết của tôi về cuốn sách này?

Tôi đã hoàn thành tốt trong 100-125 trang đầu tiên. Sau đó, cuốn sách bắt đầu nói về thử nghiệm giả thuyết, đó là điều tôi rất hào hứng đề cập đến nhưng có một vài điều ném tôi:

• Việc sử dụng các hàm mật độ xác suất trong tính toán. Nói cách khác làm thế nào để đánh giá các phương trình như vậy.
• Toàn bộ câu này: "Giả sử chúng ta sử dụng beta (1,1) trước cho pi. Sau đó, cho y = 8, mật độ sau là beta (9,3). Xác suất sau của giả thuyết null là ..." Tôi tin rằng beta (1,1) đề cập đến một tệp PDF trong đó giá trị trung bình là 1 và stdev là 1? Tôi không hiểu làm thế nào nó sẽ thay đổi thành beta (9,3) dưới dạng hàm mật độ sau.

Tôi có khái niệm linh mục so với hậu thế và hiểu cách áp dụng chúng bằng cách sử dụng bảng theo cách thủ công. Tôi nhận được (tôi nghĩ!) Mà pi đại diện cho tỷ lệ hoặc xác suất dân số được cho là.

Tôi không biết làm thế nào để kết nối dữ liệu này với dữ liệu mà tôi sẽ sử dụng hàng ngày và nhận được kết quả.

Việc sử dụng các hàm mật độ xác suất trong tính toán. Nói cách khác làm thế nào để đánh giá các phương trình như vậy.

Tôi nghĩ rằng bạn vẫn đang nghĩ về điều này từ quan điểm thường xuyên: nếu bạn đang tìm kiếm một ước tính điểm, thì hậu thế sẽ không cung cấp cho bạn. Bạn đặt tệp PDF vào, bạn nhận được tệp PDF. Bạn có thể rút ra ước tính điểm bằng cách tính toán số liệu thống kê từ phân phối sau của mình, nhưng tôi sẽ đến đó một chút.

Tôi có khái niệm linh mục so với hậu thế và hiểu cách áp dụng chúng bằng cách sử dụng bảng theo cách thủ công. Tôi nhận được (tôi nghĩ!) Mà pi đại diện cho tỷ lệ hoặc xác suất dân số được cho là.

giống với p ( x ) : cả hai đều là PDF. π chỉ được sử dụng theo quy ước để biểu thị rằng PDF cụ thể là mật độ trước.$\pi(x)$$p(x)$$\pi$

Tôi nghi ngờ rằng bạn không nhận được các linh mục và hậu thế cũng như bạn nghĩ bạn làm vậy, vì vậy hãy sao lưu nó vào nền tảng cơ bản của thống kê Bayes: Xác suất chủ quan .

Một thử nghiệm tư duy trong xác suất chủ quan

Giả sử tôi tặng bạn một đồng xu và hỏi bạn xem bạn có nghĩ đồng tiền này là một đồng tiền công bằng hay không. Bạn đã nghe nhiều người nói về những đồng tiền không công bằng trong lớp xác suất, nhưng bạn chưa bao giờ thực sự nhìn thấy một đồng tiền nào trong đời thực, vì vậy bạn trả lời: "Vâng, chắc chắn, tôi nghĩ đó là một đồng tiền công bằng." Nhưng, thực tế là tôi thậm chí còn hỏi bạn câu hỏi này khiến bạn hơi bối rối, vì vậy mặc dù ước tính của bạn là công bằng, bạn sẽ không thực sự ngạc nhiên nếu nó không như vậy. Ít ngạc nhiên hơn nhiều so với việc bạn tìm thấy đồng tiền này trong túi của mình (vì bạn cho rằng đó là tất cả tiền thật và bạn không thực sự tin tưởng tôi ngay bây giờ vì tôi đang nghi ngờ).

Bây giờ, chúng tôi chạy một vài thí nghiệm. Sau 100 lần lật, đồng xu trả lại 53 Đầu. Bạn tự tin hơn rất nhiều rằng đó là một đồng tiền công bằng, nhưng bạn vẫn cởi mở với khả năng là không. Sự khác biệt là bây giờ bạn sẽ khá ngạc nhiên nếu đồng tiền này hóa ra có một số thành kiến.

Làm thế nào chúng ta có thể đại diện cho niềm tin trước và sau của bạn ở đây, cụ thể, liên quan đến khả năng mà đồng xu sẽ hiển thị đầu (mà chúng tôi sẽ biểu thị )? Trong một khung cảnh frequentist, niềm tin trước đây của bạn - giả thuyết của bạn - đó là θ = 0,5 . Sau khi chạy thử nghiệm, bạn không thể từ chối null và vì vậy bạn tiếp tục với giả định rằng có, đồng tiền có thể là công bằng. Nhưng làm thế nào để chúng tôi gói gọn sự thay đổi trong niềm tin của bạn rằng đồng tiền là công bằng? Sau khi thử nghiệm, bạn đang ở một vị trí mà bạn sẽ đặt cược rằng đồng tiền là công bằng, nhưng trước khi thử nghiệm, bạn sẽ cảm thấy lo lắng.$\theta$$\theta = 0.5$

$\theta = 0.5$$\theta \sim N(0.5, \sigma^2)$$\theta= 0.5$$\theta=0.5$$\theta=0.5$

Vậy làm thế nào để chúng ta thực hiện tính toán?

Chúng tôi bắt đầu với các tệp PDF và chúng tôi kết thúc bằng các tệp PDF. Khi bạn cần báo cáo ước tính điểm, bạn có thể tính toán các số liệu thống kê như giá trị trung bình, trung bình hoặc chế độ phân phối sau của bạn (tùy thuộc vào chức năng mất của bạn, mà tôi sẽ không nhận được ngay bây giờ. Nếu bạn có một giải pháp dạng đóng cho PDF của mình, có thể sẽ không quan trọng để xác định các giá trị này. Nếu hậu thế phức tạp, bạn có thể sử dụng các quy trình như MCMC để lấy mẫu từ hậu tố của bạn và lấy số liệu thống kê từ mẫu bạn đã vẽ.

Trong ví dụ bạn có Beta trước và khả năng Binomial, việc tính toán sau giảm xuống thành phép tính rất rõ ràng. Được:

• $\theta \sim Beta(\alpha, \beta)$
• $X|\theta \sim Binomial(\theta)$

Sau đó, hậu sinh giảm xuống:

• $\theta|X \sim Beta(\alpha + \sum_{i=1}^n x_i,\, \beta + n - \sum_{i=1}^n x_i)$

Điều này sẽ xảy ra bất cứ khi nào bạn có bản beta trước và khả năng nhị thức, và lý do tại sao nên rõ ràng trong các tính toán được cung cấp bởi DJE . Khi một mô hình khả năng ưu tiên cụ thể luôn cung cấp cho một hậu thế có cùng loại phân phối như trước, mối quan hệ giữa các loại phân phối được sử dụng cho trước và khả năng được gọi là Liên hợp . Có nhiều cặp phân phối có mối quan hệ liên hợp và liên hợp thường được Bayesian tận dụng để đơn giản hóa các phép tính. Với một khả năng cụ thể, bạn có thể làm cho cuộc sống của mình dễ dàng hơn rất nhiều bằng cách chọn liên hợp trước (nếu có tồn tại và bạn có thể biện minh cho lựa chọn ưu tiên của mình).

Tôi tin rằng beta (1,1) đề cập đến một tệp PDF trong đó giá trị trung bình là 1 và stdev là 1?

Trong tham số chung của phân phối chuẩn, hai tham số biểu thị độ lệch trung bình và độ lệch chuẩn của phân phối. Nhưng đó chỉ là cách chúng tôi tham số hóa phân phối bình thường. Phân phối xác suất khác được tham số hóa rất khác nhau.

$Beta(\alpha, \beta)$$\alpha$$\beta$

$$\begin{equation} \begin{split} X &\sim Beta(\alpha, \beta) \\ \operatorname{E}[X] &= \frac{\alpha}{\alpha + \beta} \\ \operatorname{var}[X] &= \frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)} \end{split} \end{equation}$$

Như bạn có thể thấy rõ, giá trị trung bình và phương sai không phải là một phần của tham số hóa phân phối này, nhưng chúng có các giải pháp dạng đóng là các hàm đơn giản của các tham số đầu vào.

$Beta(1,1)$$Uniform(0,1)$

Nếu bạn đang tìm kiếm một cách tiếp cận nhẹ nhàng hơn, tôi rất có thể giới thiệu cuốn sách của Kruschke sử dụng R để giải thích các khái niệm cốt lõi. Đó là một cách tiếp cận thực tế và thực tế trong việc học thống kê Bayes và trên trang web của anh ấy, bạn có thể tìm thấy tất cả các mã được sử dụng.

Ai đó cũng giới thiệu văn bản của Cam.Davidson.Pilon với tôi, chưa nhìn vào nó nhưng nó có thể được tìm thấy ở đây .

$p(\theta)=\frac{\Gamma(\alpha)\Gamma(\beta)}{\Gamma(\alpha+\beta)}\theta^{\alpha-1}(1-\theta)^{\beta-1}$$(\alpha, \beta)=(1,1)$

Bản beta trước với khả năng nhị thức (số lượng thử nghiệm cố định với kết quả nhị phân và xác suất thành công / thất bại cố định) có đặc tính liên hợp, cho phép phần sau (sản phẩm của phần trước và khả năng) được viết ở dạng đóng:

$$\begin{equation} \begin{split} p(\theta|y) &= \frac{p(y|\theta)p(\theta)}{p(y)} \\ ~\\ ~\\ &\propto\frac{\Gamma(\alpha)\Gamma(\beta)}{\Gamma(\alpha+\beta)}\theta^{\alpha-1}(1-\theta)^{\beta-1}*\binom{n}{y}\theta^y(1-\theta)^{n-y} \\ ~\\ ~\\ &\propto\theta^{\alpha-1}(1-\theta)^{\beta-1}*\theta^y(1-\theta)^{n-y} \\ ~\\ &\propto\theta^{\alpha+y-1}(1-\theta)^{\beta+n-y-1} \\ ~\\ &=\frac{\Gamma(\alpha+y-1)\Gamma(\beta+n-y-1)}{\Gamma(\alpha+\beta+n-1)}\theta^{\alpha+y-1}(1-\theta)^{\beta+n-y-1} \end{split} \end{equation}$$

$\theta$

Biểu thức dạng đóng này là thuận tiện, nhưng không có nghĩa là cần thiết. Nhân mật độ xác suất có thể được thực hiện theo cách tương tự như nhân các biểu thức toán học khác; những khó khăn xảy ra do nhiều sản phẩm có mật độ không dễ viết lại như khả năng beta trước / nhị thức. May mắn thay, đây là nơi máy tính nhặt được chùng.