Có gì sai với truyện tranh thường xuyên của XKCD so với truyện tranh Bayes?

Truyện tranh xkcd này (Người thường xuyên so với Bayes) làm cho niềm vui của một nhà thống kê thường xuyên nhận được một kết quả rõ ràng sai.

Tuy nhiên, dường như đối với tôi, lý luận của ông thực sự đúng theo nghĩa là nó tuân theo phương pháp luận thường xuyên tiêu chuẩn.

Vì vậy, câu hỏi của tôi là "anh ấy có áp dụng đúng phương pháp thường xuyên không?"

• Nếu không: điều gì sẽ là một suy luận thường xuyên chính xác trong kịch bản này? Làm thế nào để tích hợp "kiến thức trước" về sự ổn định của mặt trời trong phương pháp thường xuyên?
• Nếu có: wtf? ;-)

Vấn đề chính là thử nghiệm đầu tiên (Sun gone nova) không thể lặp lại, điều này khiến nó không phù hợp với phương pháp thường xuyên diễn giải xác suất như ước tính mức độ thường xuyên của một sự kiện mà chúng ta có thể lặp lại thử nghiệm nhiều lần. Ngược lại, xác suất bayes được hiểu là mức độ niềm tin của chúng tôi cung cấp tất cả các kiến ​​thức có sẵn trước đó, làm cho nó phù hợp với lý luận thông thường về các sự kiện một lần. Thí nghiệm ném xúc xắc có thể lặp lại, nhưng tôi thấy rất khó có người thường xuyên cố tình bỏ qua ảnh hưởng của thí nghiệm đầu tiên và rất tự tin về tầm quan trọng của kết quả thu được.

Mặc dù có vẻ như tác giả chế giễu sự phụ thuộc thường xuyên vào các thí nghiệm lặp lại và sự không tin tưởng của họ đối với các linh mục, khiến cho sự không phù hợp của thiết lập thí nghiệm đối với phương pháp luận thường xuyên, tôi nói rằng chủ đề thực sự của truyện tranh này không phải là phương pháp thường xuyên mà là mù quáng theo phương pháp không phù hợp nói chung. Dù điều đó có buồn cười hay không là tùy thuộc vào bạn (đối với tôi là như vậy) nhưng tôi nghĩ nó gây hiểu lầm nhiều hơn là làm rõ sự khác biệt giữa hai cách tiếp cận.

Theo như tôi có thể thấy bit thường xuyên là hợp lý cho đến nay:

Đặt là giả thuyết rằng mặt trời chưa nổ và H 1 là giả thuyết mà nó có. Do đó, giá trị p là xác suất quan sát kết quả (máy nói "có") dưới H 0 . Giả sử rằng máy phát hiện chính xác sự vắng mặt của neutrino, thì nếu máy nói "có" dưới H 0 thì đó là do máy đang nói dối chúng ta do kết quả của việc cán hai sáu. Do đó, giá trị p là 1/36, do đó, theo thông lệ khoa học bán bình thường, một người thường xuyên sẽ bác bỏ giả thuyết khống, ở mức ý nghĩa 95% .$H_0$$H_1$$H_0$$H_0$

Nhưng bác bỏ giả thuyết khống không có nghĩa là bạn có quyền chấp nhận giả thuyết thay thế, vì vậy kết luận của những người thường xuyên không được chứng minh bằng phân tích. Các bài kiểm tra giả thuyết thường xuyên thể hiện ý tưởng về sự giả mạo (loại), bạn không thể chứng minh bất cứ điều gì là đúng, chỉ từ chối. Vì vậy, nếu bạn muốn khẳng định , bạn giả sử H 0 là đúng và chỉ tiếp tục nếu bạn có thể cho thấy H 0 không phù hợp với dữ liệu. Tuy nhiên, điều đó không có nghĩa là H 1 là đúng, chỉ là nó sống sót qua thử nghiệm và tiếp tục như một giả thuyết khả thi ít nhất là cho đến thử nghiệm tiếp theo.$H_1$$H_0$$H_0$$H_1$

Bayesian cũng chỉ là lẽ thường, lưu ý rằng không có gì để mất bằng cách đặt cược. Tôi chắc chắn rằng các phương pháp tiếp cận thường xuyên, khi các chi phí dương tính giả và âm tính giả được tính đến (Neyman-Pory?) Sẽ đưa ra kết luận tương tự như là chiến lược tốt nhất về lợi ích lâu dài.

Tóm lại: Cả người thường xuyên và Bayesian đều cẩu thả ở đây: Người thường xuyên theo dõi một cách mù quáng một công thức mà không xem xét mức độ quan trọng thích hợp, chi phí dương / sai âm hoặc vật lý của vấn đề (nghĩa là không sử dụng ý thức chung của anh ta) . Bayesian đang cẩu thả vì không nói rõ các linh mục của mình, nhưng sau đó một lần nữa sử dụng lẽ thường mà các linh mục mà anh ta đang sử dụng rõ ràng là rất chính xác (nhiều khả năng là máy đang nói dối hơn mặt trời thực sự đã phát nổ), sự chậm chạp có lẽ là dễ chịu.

Tại sao kết quả này có vẻ "sai?" Một người Bayes sẽ nói rằng kết quả này có vẻ phản trực giác bởi vì chúng ta có niềm tin "trước" về việc khi nào mặt trời sẽ nổ tung, và bằng chứng được cung cấp bởi cỗ máy này không đủ để rửa sạch những niềm tin đó (chủ yếu là do sự không chắc chắn của nó lật đồng xu). Nhưng một người thường xuyên có thể đưa ra đánh giá như vậy, anh ta chỉ đơn giản là phải làm như vậy trong bối cảnh dữ liệu, trái ngược với niềm tin.

Nguồn gốc thực sự của nghịch lý là thực tế là kiểm tra thống kê thường xuyên được thực hiện không tính đến tất cả các dữ liệu có sẵn. Không có vấn đề gì với phân tích trong truyện tranh, nhưng kết quả có vẻ kỳ lạ bởi vì chúng ta biết rằng mặt trời rất có thể sẽ không nổ trong một thời gian dài. Nhưng làm thế nào để chúng ta biết điều này? Bởi vì chúng tôi đã thực hiện các phép đo, quan sát và mô phỏng có thể hạn chế khi mặt trời sẽ nổ. Vì vậy, kiến ​​thức đầy đủ của chúng tôi nên tính đến các phép đo và điểm dữ liệu đó.

Trong phân tích Bayes, điều này được thực hiện bằng cách sử dụng các phép đo đó để xây dựng trước (mặc dù, quy trình biến số đo thành ưu tiên không được xác định rõ: tại một số điểm phải có trước đó, hoặc nếu không thì "rùa đường xuống "). Vì vậy, khi Bayes sử dụng trước, anh ta thực sự tính đến rất nhiều thông tin bổ sung mà phân tích giá trị p của người thường xuyên không biết.

Vì vậy, để duy trì bình đẳng, một phân tích thường xuyên đầy đủ về vấn đề nên bao gồm cùng một dữ liệu bổ sung về vụ nổ mặt trời được sử dụng để xây dựng bayesian trước đó. Nhưng, thay vì sử dụng các linh mục, một người thường xuyên sẽ đơn giản mở rộng khả năng anh ta sử dụng để kết hợp các phép đo khác đó, và giá trị p của anh ta sẽ được tính bằng khả năng đầy đủ đó.

(Máy nói Có | Mặt trời đã nổ) *$L = L$$L$ (Tất cả dữ liệu khác về mặt trời | Mặt trời đã nổ)

Một phân tích thường xuyên đầy đủ rất có thể sẽ chỉ ra rằng phần thứ hai của khả năng sẽ hạn chế hơn nhiều và sẽ là đóng góp chi phối cho tính toán giá trị p (vì chúng ta có rất nhiều thông tin về mặt trời và các lỗi về thông tin này là nhỏ (hy vọng)).

Thực tế, người ta không cần phải ra ngoài và thu thập tất cả các điểm dữ liệu thu được từ 500 năm trước để thực hiện phép tính thường xuyên, người ta có thể ước chừng chúng là một thuật ngữ khả năng đơn giản mã hóa sự không chắc chắn về việc mặt trời có nổ hay không. Điều này sau đó sẽ trở nên giống với trước của Bayes, nhưng nó hơi khác về mặt triết học bởi vì đó là khả năng, có nghĩa là nó mã hóa một số phép đo trước đó (trái ngược với trước, mã hóa một niềm tin tiên nghiệm). Thuật ngữ mới này sẽ trở thành một phần của khả năng và sẽ được sử dụng để xây dựng các khoảng tin cậy (hoặc giá trị p hoặc bất cứ điều gì), trái ngược với bayesian trước, được tích hợp để tạo thành các khoảng tin cậy hoặc sau.

$p$$t$$T$${\rm Prob}[T \ge t| H_0]$$T$$\chi^2$$p$$0, 1/36, 2/36, \ldots$

Tất nhiên, cách tiếp cận "thường xuyên" này là không khoa học, vì kết quả sẽ khó có thể lặp lại. Khi Sun đi siêu tân tinh, nó vẫn là siêu tân tinh, vì vậy máy dò phải liên tục nói "Có" nhiều lần. Tuy nhiên, việc chạy lại máy này nhiều lần không có khả năng mang lại kết quả "Có" một lần nữa. Điều này được công nhận ở những khu vực muốn thể hiện bản thân nghiêm ngặt và cố gắng tái tạo kết quả thử nghiệm của họ ... theo như tôi hiểu, xảy ra với xác suất ở bất cứ đâu giữa 5% (xuất bản bài báo gốc là lỗi loại I thuần túy) và đâu đó khoảng 30-40% trong một số lĩnh vực y tế. Những người phân tích tổng hợp có thể cung cấp cho bạn những con số tốt hơn, đây chỉ là tiếng vang tình cờ gặp tôi qua các số liệu thống kê nho.

Một vấn đề khác từ quan điểm thường xuyên "đúng đắn" là lăn súc sắc là thử nghiệm ít mạnh nhất, với mức công suất = mức ý nghĩa (nếu không thấp hơn; 2,7% công suất cho mức ý nghĩa 5% là không có gì để tự hào). Lý thuyết Neyman-Pearson cho các bài kiểm tra t đã thống nhất chứng minh rằng đây là UMPT, và rất nhiều lý thuyết thống kê trán cao (mà tôi hầu như không hiểu, tôi phải thừa nhận) được dành cho việc tạo ra các đường cong sức mạnh và tìm ra các điều kiện khi đưa ra kiểm tra là mạnh nhất trong một lớp nhất định. (Tín dụng: @Dikran Marsupial đã đề cập đến vấn đề quyền lực trong một trong những bình luận.)

Tôi không biết điều này có làm phiền bạn không, nhưng nhà thống kê Bayes được chỉ ra ở đây là người không biết toán và có vấn đề đánh bạc. Một nhà thống kê Bayes thích hợp sẽ đưa ra giả thuyết trước, thảo luận về mức độ khách quan của nó, rút ​​ra hậu thế và chứng minh họ đã học được bao nhiêu từ dữ liệu. Không có điều gì được thực hiện, vì vậy quy trình Bayes đã được áp dụng quá mức giống như quy trình thường xuyên.

Tình huống này cho thấy sàng lọc cổ điển cho vấn đề ung thư (và tôi chắc chắn các nhà sinh học có thể mô tả nó tốt hơn tôi có thể). Khi sàng lọc một căn bệnh hiếm gặp bằng một dụng cụ không hoàn hảo, hầu hết các kết quả dương tính đều là dương tính giả. Các nhà thống kê thông minh biết điều đó, và biết rõ hơn để theo dõi các sàng lọc rẻ tiền và bẩn với các sinh thiết chính xác và đắt tiền hơn.

Không có gì sai với truyện tranh này, và lý do không liên quan gì đến thống kê. Đó là kinh tế. Nếu người thường xuyên là chính xác, Trái đất sẽ tương đương với không thể ở được trong vòng 48 giờ. Giá trị $ 50 sẽ có hiệu lực null. Bayesian, nhận ra điều này, có thể đặt cược khi biết rằng lợi ích của anh ta là 50 đô la trong trường hợp bình thường, và không có gì trong trường hợp nổ tung mặt trời.

Bây giờ Cern đã quyết định rằng neutrino không nhanh hơn ánh sáng - mặt trận sốc bức xạ điện từ sẽ tấn công trái đất trước khi thay đổi neutrino được chú ý. Điều này sẽ có ít nhất (trong thời gian rất ngắn) hiệu ứng cực quang ngoạn mục. Do đó, thực tế là trời tối sẽ không ngăn được bầu trời được thắp sáng; mặt trăng từ tỏa sáng quá mức (cf "Mặt trăng bất tử" của Larry Niven) và những tia sáng ngoạn mục khi các vệ tinh nhân tạo bị bốc hơi và tự bốc cháy.

Tất cả trong tất cả - có lẽ thử nghiệm sai? (Và trong khi có thể có trước - sẽ không đủ thời gian để xác định thực tế về hậu thế.

Tôi đồng ý với @GeorgeLewis rằng có thể còn sớm để kết luận cách tiếp cận Thường xuyên là sai - hãy chạy lại máy dò neutrino nhiều lần để thu thập thêm dữ liệu. Không cần phải loay hoay với các linh mục.

Một điểm đơn giản hơn có thể bị mất trong số tất cả các câu trả lời dài dòng ở đây là người thường xuyên được miêu tả rút ra kết luận của mình dựa trên một mẫu duy nhất. Trong thực tế, bạn sẽ không bao giờ làm điều này.

Để đạt được kết luận hợp lệ đòi hỏi một cỡ mẫu có ý nghĩa thống kê (hay nói cách khác, khoa học cần phải được lặp lại). Vì vậy, trong thực tế, người thường xuyên sẽ chạy máy nhiều lần và sau đó đưa ra kết luận về dữ liệu kết quả.

Có lẽ điều này sẽ đòi hỏi phải hỏi máy cùng một câu hỏi nhiều lần nữa. Và có lẽ nếu máy chỉ sai 1 trong số 36 lần thì một mẫu rõ ràng sẽ xuất hiện. Và từ mô hình đó (thay vì sau một lần đọc), người thường xuyên sẽ rút ra một kết luận (khá chính xác, tôi sẽ nói) về việc mặt trời có nổ hay không.

Câu trả lời cho câu hỏi của bạn: "anh ấy có áp dụng đúng phương pháp thường xuyên không?" là không, ông không áp dụng chính xác cách tiếp cận thường xuyên. Giá trị p cho vấn đề này không chính xác bằng 1/36.

Trước tiên chúng ta phải lưu ý rằng các giả thuyết liên quan là

H0: Mặt trời chưa nổ,

H1: Mặt trời đã nổ tung.

Sau đó,

p-value = P ("máy trả về có" | Mặt trời chưa nổ).

Để tính xác suất này, chúng ta phải lưu ý rằng "máy trả về có" tương đương với "máy dò neutrino đo Mặt trời nổ VÀ cho kết quả đúng HOẶC máy dò neutrino không đo Mặt trời nổ VÀ nói dối chúng ta".

Giả sử rằng việc ném xúc xắc là độc lập với phép đo máy dò neutrino, chúng ta có thể tính giá trị p bằng cách xác định:

p0 = P ("máy dò neutrino đo Mặt trời nổ" | Mặt trời chưa nổ),

Sau đó, giá trị p là

p-value = p0 x 35/4 + (1-p0) x 1/36 = (1/36) x (1+ 34 x p0).

Đối với vấn đề này, giá trị p là một số trong khoảng từ 1/36 đến 35/4. Giá trị p bằng 1/36 khi và chỉ khi p0 = 0. Đó là, một giả định ẩn trong phim hoạt hình này là máy dò sẽ không bao giờ đo được Mặt trời phát nổ nếu Mặt trời chưa nổ.

Hơn nữa, nhiều thông tin nên được chèn vào khả năng về bằng chứng bên ngoài của vụ nổ anova đang diễn ra.

Tất cả tốt nhất.

Tôi không thấy bất kỳ vấn đề với cách tiếp cận thường xuyên. Nếu giả thuyết null bị từ chối, giá trị p là xác suất của lỗi loại 1. Một lỗi loại 1 đang từ chối một giả thuyết null thực sự. Trong trường hợp này, chúng ta có giá trị p là 0,028. Điều này có nghĩa là trong số tất cả các thử nghiệm giả thuyết với giá trị p này từng được tiến hành, khoảng 3 trong số một trăm sẽ từ chối một giả thuyết null thực sự. Bằng cách xây dựng, đây sẽ là một trong những trường hợp đó. Những người thường xuyên chấp nhận rằng đôi khi họ sẽ từ chối giả thuyết null thực sự hoặc giữ lại giả thuyết null sai (lỗi Loại 2), họ chưa bao giờ tuyên bố khác. Hơn nữa, họ định lượng chính xác tần suất suy luận sai lầm của họ trong thời gian dài.

Có lẽ, một cách ít nhầm lẫn hơn khi nhìn vào kết quả này là trao đổi vai trò của các giả thuyết. Vì hai giả thuyết rất đơn giản, điều này rất dễ thực hiện. Nếu null là mặt trời đi nova, thì giá trị p là 35/36 = 0,972. Điều này có nghĩa là đây không phải là bằng chứng chống lại giả thuyết rằng mặt trời đã trở nên mới, vì vậy chúng ta không thể từ chối nó dựa trên kết quả này. Điều này có vẻ hợp lý hơn. Nếu bạn đang suy nghĩ. Tại sao mọi người sẽ cho rằng mặt trời đã đi nova? Tôi sẽ hỏi bạn. Tại sao mọi người sẽ thực hiện một thí nghiệm như vậy nếu suy nghĩ về mặt trời nổ tung có vẻ vô lý?

Tôi nghĩ rằng điều này chỉ cho thấy rằng người ta phải đánh giá tính hữu ích của một thử nghiệm trước đó. Ví dụ, thí nghiệm này sẽ hoàn toàn vô dụng vì nó kiểm tra thứ mà chúng ta đã biết chỉ đơn giản là nhìn lên trời (mà tôi chắc chắn tạo ra giá trị p có giá trị bằng 0). Thiết kế một thí nghiệm tốt là một yêu cầu để tạo ra khoa học tốt. Nếu thử nghiệm của bạn được thiết kế kém, thì cho dù bạn sử dụng công cụ suy luận thống kê nào, kết quả của bạn dường như không hữu ích.

Làm thế nào để tích hợp "kiến thức trước" về sự ổn định của mặt trời trong phương pháp thường xuyên?

Chủ đề rất thú vị.

Đây chỉ là một số suy nghĩ, không phải là một phân tích hoàn hảo ...

Sử dụng phương pháp Bayes với một cách không phù hợp trước thường cung cấp một suy luận thống kê có thể so sánh với phương pháp thường xuyên.

Tại sao người Bayes có niềm tin mạnh mẽ trước rằng mặt trời chưa nổ? Bởi vì anh ấy biết như mọi người rằng mặt trời chưa bao giờ nổ tung kể từ khi bắt đầu.

Chúng ta có thể thấy trên một số mô hình thống kê đơn giản với các linh mục liên hợp rằng sử dụng phân phối trước tương đương với sử dụng phân phối sau có nguồn gốc từ các thí nghiệm sơ bộ và sơ bộ không nhiễm trùng.

Câu trên cho thấy Người thường xuyên nên kết luận là người Bayes bằng cách đưa kết quả của các thí nghiệm sơ bộ vào mô hình của mình. Và đây là những gì Bayes thực sự làm : ưu tiên của anh xuất phát từ kiến ​​thức về các thí nghiệm sơ bộ!

$N$$x_i$$i$$x_i$$\theta$$x_i$$x_i=1$$i =1,\ldots,N$

$N+1$$x_i$$y=\{\text{Yes}\}$$\Pr(x_{N+1}=0)$$\theta$$\theta$$x_1, \ldots, x_N$$y$$1$$N$$y=\{\text{Yes}\}$$\theta$$\theta$

$H_0 =\{\text{the sun has not exploded}\}$

Tất nhiên đây là một bài kiểm tra mức 0,05 thường xuyên - giả thuyết null bị từ chối dưới 5% thời gian theo giả thuyết null và thậm chí sức mạnh dưới sự thay thế là rất lớn.

Mặt khác, thông tin trước cho chúng ta biết rằng mặt trời sẽ trở thành siêu tân tinh tại một thời điểm cụ thể là rất khó xảy ra, nhưng việc nói dối một cách tình cờ có nhiều khả năng.

Điểm mấu chốt: thực sự không có gì sai với truyện tranh và nó cho thấy việc kiểm tra các giả thuyết không hợp lý dẫn đến tỷ lệ phát hiện sai cao. Ngoài ra, bạn có thể muốn đưa thông tin trước vào đánh giá của mình về các cược được cung cấp - đó là lý do tại sao một hậu thế Bayes kết hợp với phân tích quyết định rất phổ biến.

Theo quan điểm của tôi, một phân tích thường xuyên chính xác hơn sẽ như sau: H0: Mặt trời đã nổ tung và cỗ máy đang nói sự thật. H1: Mặt trời chưa nổ và máy đang nằm.

Giá trị p ở đây là = P (mặt trời phát nổ). p (máy đang nói sự thật) = 0,97. P (mặt trời nổ tung)

Nhà thống kê không thể kết luận bất cứ điều gì mà không biết bản chất của xác suất thứ hai.

Mặc dù chúng ta biết rằng P (mặt trời phát nổ) là 0, vì mặt trời như những ngôi sao không nổ tung thành siêu tân tinh.