So sánh mô hình Bayes ở trường trung học

Tôi dạy vật lý cho học sinh trung học, và tôi muốn học sinh của mình tiến hành so sánh mô hình Bayes thô sơ cho dữ liệu từ thí nghiệm của họ. Tôi đã tìm ra một cách để họ làm như vậy (xem bên dưới), nhưng tôi không chắc nó đúng. Tôi rất đánh giá cao bất kỳ phản hồi nào về nó (đặc biệt là phản hồi tiêu cực!), Hoặc đề xuất về cách làm điều đó tốt hơn.

Tôi muốn so sánh một lý thuyết tuyến tính, với các tham số độ dốc và chặn , với một giả thuyết khống về hằng số tức là độ dốc = 0. Trong cả hai trường hợp, tôi giả sử nhiễu đối xứng Gaussian.$a$$b$$a$

Các sinh viên có thể rút ra, sử dụng Excel, ước tính khả năng tối đa cho độ dốc và đánh chặn ( và ), và các lỗi của họ và .$\hat{a}$$\hat{b}$$da$$db$

1. Đối với độ dốc trước, tôi xem xét một Gaussian rộng, tập trung vào ước tính tối đa = khả năng ( ) và với độ lệch chuẩn gấp mười lần. Lý do của tôi là tôi thực tế mong đợi họ tìm thấy các tham số dòng "chính xác" ít nhất là trong một cường độ, và trong thực tế, họ sẽ tìm thấy chúng gần hơn vì vậy nếu tôi thay thế độ dốc "chính xác" bằng MLE của nó, tôi sẽ không thay đổi số lượng quá nhiều.$\hat{a}$
2. Đối với khả năng của bằng chứng đưa ra bất kỳ lý thuyết tuyến tính cụ thể nào, tôi xem xét phân phối Gaussian đa biến tiêu chuẩn, với độ lệch chuẩn ( ) liên quan đến tổng bình phương còn lại.$\sigma_e$
3. Do đó, khả năng của bằng chứng cho lý thuyết tuyến tính nói chung, tức là tích phân của ưu tiên và khả năng trên, do đó được ước tính là ưu tiên và khả năng tại điểm MLE, nhân với sai số ở độ dốc .$da$
4. Khả năng của các bằng chứng đưa ra giả thuyết null được giả sử là một Gaussian đa biến khác, hiện đang sử dụng tổng độ lệch chuẩn ( ), dựa trên sự khác biệt so với mức trung bình-Y.$\sigma_T$

5. Đây là phần tôi ít chắc chắn nhất: Tôi ước tính hệ số Bayes là tỷ lệ của hai khả năng trên (3 và 4 ở trên), cho phép tôi đưa ra công thức sau:

   $B_{10}=\frac{da}{(10 |\hat{a}| \cdot \sqrt{2 \pi})}(\sigma_T/\sigma_e)^N\cdot \sqrt{e}$

Điều này sẽ cho chúng ta ước tính hợp lý cho yếu tố Bayes? Bất kỳ thông tin phản hồi đều được chào đón.

Trước tiên, hãy để tôi nói rằng thử nghiệm hợp lý của một giả thuyết sắc nét như đòi hỏi phải có sự phân phối trước một cách chu đáo cho , bởi vì yếu tố Bayes phụ thuộc rất nhiều vào điều này trước. Nhiều người Bayes sẽ không kiểm tra một giả thuyết sắc bén, nhưng tôi sẽ làm.$a=0$$a$

Trước khi tiếp tục, tôi phải nói với bạn rằng tôi không thực sự hiểu những gì bạn nói bạn đang làm và vì vậy tôi có thể cho bạn lời khuyên mà bạn không tìm kiếm. Tôi hy vọng bạn có thể làm theo ký hiệu có thể.

Đặt dữ liệu là quan sát: , trong đó (theo mô hình tổng quát hơn và bao gồm độ dốc) (Tôi đang loại bỏ biến độc lập khỏi danh sách các đối số điều hòa để đơn giản hóa công chứng.) Khả năng được đưa ra bởi Đặt trước cho , phân phối sau là trong đó khả năng của dữ liệu theo mô hình tổng quát hơn là $n$$y = ((x_1,y_1), \ldots, (x_n,y_n))$

$$p(y_i|a,b,\sigma^2) = \textsf{N}(y_i|b+a\,x_i,\sigma^2).$$ $x_i$ $$p(y|a,b,\sigma^2) = \prod_{i=1}^n p(y_i|a,b,\sigma^2).$$ $(a,b,\sigma^2)$ $$\begin{equation} p(a,b,\sigma^2|y) = \frac{p(y|a,b,\sigma^2)\,p(a,b,\sigma^2)}{p(y)}, \end{equation}$$ $$\begin{equation} \begin{split} p(y) &= \iiint p(y|a,b,\sigma^2)\,p(a,b,\sigma)\,d\sigma^2\,db\,da \\ &= \int\left(\iint p(y|a,b,\sigma^2)\,p(b,\sigma^2)\,d\sigma^2\,db\right) p(a|b,\sigma^2)\,da \\ &= \int p(y|a)\,p(a|b,\sigma^2)\,da , \end{split} \end{equation}$$ trong đó tôi đã sử dụng . Lưu ý rằng là khả năng (cận biên) cho và là điều kiện trước cho . Nếu ưu tiên cho độc lập với , thì . Tôi sẽ cho rằng đó là sự thật.$p(a,b,\sigma^2) = p(a|b,\sigma^2)\,p(b,\sigma^2)$$p(y|a)$$a$$p(a|b,\sigma^2)$$a$$a$$(b,\sigma^2)$$p(a|b,\sigma^2) = p(a)$

Với các biểu thức này, giờ đây chúng ta có thể viết phần sau cho : Bây giờ chúng ta sẽ sắp xếp lại biểu thức này: Vì biểu thức này đúng với mọi giá trị của , nên nó đặc biệt đúng với : Lưu ý rằng tử số trong phân số ở phía bên trái là khả năng của dữ liệu theo mô hình bị hạn chế (nghĩa là bị giới hạn ở$a$

$$\begin{equation} p(a|y) = \frac{p(y|a)\,p(a)}{p(y)}. \end{equation}$$ $$\begin{equation} \frac{p(y|a)}{p(y)} = \frac{p(a|y)}{p(a)}. \end{equation}$$ $a$$a = 0$ $$\begin{equation} \frac{p(y|a=0)}{p(y)} = \frac{p(a=0|y)}{p(a=0)}. \end{equation}$$ $a=0$). Và, như đã lưu ý, mẫu số là khả năng của dữ liệu theo mô hình tổng quát hơn. Do đó, phía bên trái là yếu tố Bayes ủng hộ mô hình bị hạn chế so với mô hình tổng quát hơn.

Phân số bên tay phải cho chúng ta một cách để đánh giá yếu tố Bayes: Nó nói để chia mật độ sau được đánh giá ở mức cho mật độ trước được đánh giá ở mức . (Nhân tiện, "công thức" được gọi là tỷ lệ mật độ Savage-Dickey.) Bây giờ thì rõ ràng tại sao cần phải có một suy nghĩ trước cho . Nếu chúng ta để cho mật độ trước cho thể rất bấp bênh, mật độ trước sẽ rất thấp ở khắp mọi nơi trong đó có , nhưng mật độ sau tại sẽ không đi đến số không, và hậu quả là các yếu tố Bayes sẽ đi đến vô cùng. Trong trường hợp này, "rác trong" tạo ra "rác ra".$a=0$$a=0$$a$$a$$a =0$$a=0$

Bạn có thể tưởng tượng rằng nếu bạn không làm theo các bước tôi đã vạch ra, thì bạn sẽ không phải chịu vấn đề này, nhưng bạn sẽ sai. Logic tôi đã trình bày áp dụng bất kể "thuật toán" bạn áp dụng.

Nhưng các bước cung cấp một thuật toán có thể hữu ích. Giả sử ưu tiên cho các tham số được đưa ra bởi "Jeffreys trước" Điều này có nghĩa là việc sử dụng không đúng trước các "tham số phiền toái" . Đây là okay, nhưng như vậy một trước sẽ không thích hợp cho vì lý do tôi đã thảo luận ở trên. Với trước, điều này --- các (biên) khả năng cho --- sẽ tỷ lệ với một sinh viên phân phối, các thông số trong đó phụ thuộc vào các dữ liệu . Đây phân phối hoàn tất bản tóm tắt các dữ liệu, có thể được loại bỏ. Bây giờ bạn phải chọn một thông tin thích hợp và đầy đủ trước

$$p(b,\sigma^2) \propto 1/\sigma^2.$$ $(b,\sigma^2)$$a$$p(y|a)$$a$$t$$y$$t$$a$ . Làm như vậy, bạn có thể tính toán số lượng theo phương trình "Savage-Dickey".

Tôi hy vọng bạn tìm thấy một cái gì đó trong những gì tôi đã nói hữu ích.