Bayes: nô lệ của chức năng khả năng?

Trong cuốn sách "Tất cả các số liệu thống kê", Giáo sư Larry Wasserman trình bày ví dụ sau (11.10, trang 188). Giả sử chúng ta có một mật độ mà , nơi là một nổi tiếng (không âm, khả tích) chức năng, và bình thường hóa liên tục là chưa biết .f ( x ) = $f$g c > $f(x)=c\,g(x)$$g$$c>0$

Chúng tôi quan tâm đến những trường hợp không thể tính được . Ví dụ, có thể trường hợp là pdf trên một không gian mẫu rất cao.$c=1/\int g(x)\,dx$$f$

Người ta biết rằng có các kỹ thuật mô phỏng cho phép chúng ta lấy mẫu từ , mặc dù chưa biết. Do đó, câu đố là: Làm thế nào chúng ta có thể ước tính từ một mẫu như vậy?c $f$$c$$c$

Giáo sư Wasserman mô tả các giải pháp Bayesian sau: để cho có một số trước cho . Khả năng là Do đó, hậu thế không phụ thuộc vào các giá trị mẫu . Do đó, Bayes không thể sử dụng thông tin trong mẫu để suy luận về .c L x ( c ) = n ∏ i = 1 f ( x i ) = n ∏ i = 1 ($\pi$$c$π ( c | x ) α c n π ( c ) x 1 , ... , x n

Giáo sư Wasserman chỉ ra rằng "Bayes là nô lệ của chức năng khả năng. Khi khả năng xảy ra, điều đó sẽ khiến Bayes suy luận".

Câu hỏi của tôi cho các stacker đồng nghiệp của tôi là: Liên quan đến ví dụ cụ thể này, điều gì đã xảy ra (nếu có gì) với phương pháp Bayes?

PS Như giáo sư Wasserman vui lòng giải thích trong câu trả lời của mình, ví dụ là do Ed George.

Điều này đã được thảo luận trong bài báo của tôi (chỉ được xuất bản trên internet) "Trên một ví dụ về Larry Wasserman" [ 1 ] và trong một cuộc trao đổi blog giữa tôi, Wasserman, Robins và một số người bình luận khác trên blog của Wasserman: [ 2 ]

Câu trả lời ngắn gọn là Wasserman (và Robins) tạo ra nghịch lý bằng cách gợi ý rằng các linh mục trong không gian chiều cao "phải" có các đặc điểm ngụ ý rằng tham số quan tâm được biết là một tiên nghiệm gần như chắc chắn hoặc là một vấn đề có liên quan rõ ràng (sai lệch lựa chọn) được biết đến với sự chắc chắn gần như không có mặt. Trong thực tế, các linh mục nhạy cảm sẽ không có những đặc điểm này. Tôi đang trong quá trình viết một bài đăng blog tóm tắt để kết hợp điều này với nhau. Có một bài báo xuất sắc năm 2007, cho thấy các cách tiếp cận Bayes hợp lý với các ví dụ mà Wasserman và Ritov xem xét, bởi Hameling và Toussaint: các công cụ ước tính của Bay Bay cho vấn đề của Robins-Ritov. [ 3 ]

Tôi không thấy nhiều hấp dẫn trong ví dụ này, đặc biệt. như một lời chỉ trích tiềm năng của Bayes và khả năng-wallahs .... Hằng số được biết đến, bằng Nếu là duy nhất " không xác định "trong ảnh, được đưa ra một mẫu , sau đó không có vấn đề thống kê nào về vấn đề này và tôi không đồng ý rằng có tồn tại các ước tính của . Cũng không phải là linh mục trên (trừ khối Dirac về giá trị trên). Đây không phải là một vấn đề thống kê mà là vấn đề số .$c$

Rằng mẫu có thể được sử dụng thông qua ước tính mật độ (thường xuyên) để cung cấp một xấp xỉ bằng số của là một sự tò mò đơn thuần. Không chỉ trích các phương pháp thống kê thay thế: Tôi cũng có thể sử dụng ước tính mật độ Bayes ...$x_1,\ldots,x_n$$c$

Tôi đồng ý rằng ví dụ này là lạ. Tôi có nghĩa là nó thực sự là một câu đố. (Ví dụ thực sự là do Ed George.)

Nó đặt ra câu hỏi về ý nghĩa của một cái gì đó được "biết đến". Christian nói rằng được biết đến. Nhưng, ít nhất là từ quan điểm xác suất chủ quan hoàn toàn chủ quan, bạn không biết điều đó chỉ vì về nguyên tắc nó có thể được biết đến. (Giả sử bạn không thể thực hiện tích phân số.) Một Bayes chủ quan coi mọi thứ là một biến ngẫu nhiên có phân phối, bao gồm .$c$$c$

Ở bất cứ giá nào, tờ giấy

A. Kong, P. McCullagh, X.-L. Meng, D. Nicolae và Z. Tan (2003), Một lý thuyết về mô hình thống kê cho sự tích hợp Monte Carlo , J. Royal Statistic. Sóc. B , tập. 65, không 3, 585

(với thảo luận) về cơ bản xử lý cùng một vấn đề.

Ví dụ mà Chris Sims ám chỉ trong câu trả lời của anh ta có bản chất rất khác.

Các mô hình thống kê đề xuất có thể được mô tả như sau: Bạn có một tiếng không âm Hàm khả tích , và một biến ngẫu nhiên không âm . Các biến ngẫu nhiên được cho là độc lập có điều kiện và phân phối giống hệt nhau , với điều kiện , với mật độ có điều kiện , cho .$g:\mathbb{R}\to\mathbb{R}$$C$$X_1,\dots,X_n$$C=c$$f_{X_i\mid C}(x_i\mid c)=c\,g(x_i)$$c>0$

Thật không may, nói chung, đây không phải là một mô tả hợp lệ của một mô hình thống kê. Vấn đề là, theo định nghĩa, phải là mật độ xác suất cho hầu hết mọi giá trị có thể có của , nói chung, rõ ràng là sai. Trên thực tế, điều này đúng với giá trị đơn . Do đó, mô hình chỉ được chỉ định chính xác trong trường hợp tầm thường khi phân phối được tập trung tại giá trị cụ thể này. Tất nhiên, chúng tôi không quan tâm đến trường hợp này. Điều chúng tôi muốn là phân phối bị chi phối bởi thước đo Lebesgue, có pdf .$f_{X_i\mid C}(\,\cdot\mid c)$ $c$$c=\left(\int_{-\infty}^\infty g(x)\,dx\right)^{-1}$$C$$C$$\pi$

Do đó, xác định , biểu thức được lấy làm hàm của , đối với cố định , không tương ứng với hàm khả năng chính hãng.$x=(x_1,\dots,x_n)$

Tất cả mọi thứ sau đó thừa hưởng từ vấn đề này. Cụ thể, phần sau được tính toán với Định lý Bayes là không có thật. Thật dễ dàng để thấy rằng: giả sử rằng bạn có một thích hợp trước Lưu ý rằng . Theo tính toán được trình bày trong ví dụ, hậu thế phải là Nhưng nếu điều đó là đúng, thì hậu thế này sẽ luôn không đúng, vì phân kỳ cho mọi cỡ mẫu .

Điều này là không thể: chúng tôi biết rằng nếu chúng tôi bắt đầu với một ưu tiên thích hợp, thì hậu thế của chúng tôi không thể không phù hợp với mọi mẫu có thể (có thể không đúng trong một tập hợp xác suất dự đoán trước null).

Ví dụ là một chút kỳ lạ và giả định. Lý do khả năng xảy ra là vì g là một hàm đã biết . Tham số duy nhất chưa biết là c không phải là một phần của khả năng. Ngoài ra vì g được biết nên dữ liệu cung cấp cho bạn không có thông tin về f. Khi nào bạn thấy một điều như vậy trong thực tế? Vì vậy, hậu thế chỉ tỷ lệ thuận với ưu tiên và tất cả thông tin về c đều có trước.

Được rồi nhưng suy nghĩ về nó. Người thường xuyên sử dụng khả năng tối đa và vì vậy người thường xuyên đôi khi cũng dựa vào chức năng khả năng. Vâng, người thường xuyên có thể ước tính các tham số theo những cách khác mà bạn có thể nói. Nhưng vấn đề nấu chín này chỉ có một tham số c và không có thông tin trong dữ liệu về c. Vì g được biết nên không có vấn đề thống kê liên quan đến các tham số chưa biết có thể được lượm lặt trong khoảng thời gian dữ liệu.

Có một điều trớ trêu rằng cách tiêu chuẩn để thực hiện tính toán Bayes là sử dụng phân tích thường xuyên các mẫu MCMC. Trong ví dụ này, chúng tôi có thể coi có liên quan chặt chẽ với khả năng cận biên mà chúng tôi muốn tính toán, nhưng chúng tôi sẽ trở thành những người theo chủ nghĩa thuần túy Bayes theo nghĩa là cố gắng thực hiện tính toán theo cách Bayes.$c$

Nó không phổ biến, nhưng có thể thực hiện tích phân này trong khung Bayes. Điều này liên quan đến việc đặt ưu tiên cho hàm (trong thực tế là quá trình Gaussian) đánh giá hàm tại một số điểm, dựa trên các điểm này và tính toán một tích phân so với sau . Trong tình huống này, khả năng liên quan đến việc đánh giá tại một số điểm, nhưng không được biết đến, do đó khả năng hoàn toàn khác với khả năng được đưa ra ở trên. Phương pháp này được thể hiện trong bài viết này http://mlg.eng.cam.ac.uk/zoubin/ con / RamGha03.pdf$g()$$g()$$g()$$g()$

Tôi không nghĩ bất cứ điều gì sai với phương pháp Bayes. Khả năng như văn bản đối xử với như được biết ở khắp mọi nơi. Nếu đây là trường hợp thì sẽ không có khía cạnh thống kê cho vấn đề. Nếu được coi là không xác định, ngoại trừ tại một số điểm hữu hạn, phương pháp Bayesian hoạt động tốt.$g()$$g()$

Chúng tôi có thể mở rộng định nghĩa về các điều đã biết có thể (tương tự như việc mở rộng dữ liệu để cho phép thiếu dữ liệu cho mốc dữ liệu được quan sát nhưng bị mất) để bao gồm NULL (không tạo ra dữ liệu).

Giả sử rằng bạn có một thích hợp trước Bây giờ hãy xác định mô hình dữ liệu cho x

Nếu$c=\left(\int_{-\infty}^\infty g(x)\,dx\right)^{-1}$

$f_{X_a\mid C}(x_a\mid c) f_{X_i\mid C}(x_i\mid c) =c\,1 g(x_i)$ {a cho bất kỳ}

khác$f_a{X_a\mid C}(x_a\mid c)=0$

Vì vậy, hậu thế sẽ là 0 hoặc 1 (thích hợp) nhưng khả năng từ mô hình dữ liệu trên là không có sẵn (vì bạn không thể xác định điều kiện bắt buộc trong mô hình dữ liệu.)

Vậy bạn làm ABC.

Vẽ một cv khác từ trước.

Bây giờ gần đúng bằng một số tích hợp số và giữ cho c c nếu điều đó gần đúng - đó là xấp xỉ - epsilon.$\left(\int_{-\infty}^\infty g(x)\,dx\right)^{-1}$

Các c c được giữ lại sẽ là một xấp xỉ của hậu thế thực sự.

(Độ chính xác của phép tính gần đúng sẽ phụ thuộc vào epsilon và tính đầy đủ của điều hòa đối với phép tính gần đúng đó.)

Đợi đã, cái gì? Bạn có vì vậy, nó phụ thuộc vào các giá trị của . Chỉ vì bạn che giấu sự phụ thuộc trong " " không có nghĩa là bạn có thể bỏ qua nó?{ X i }