Là thống kê Bayes thực sự là một cải tiến so với thống kê truyền thống (thường xuyên) cho nghiên cứu hành vi?

Trong khi tham dự các hội nghị, đã có một chút thúc đẩy bởi những người ủng hộ số liệu thống kê Bayes để đánh giá kết quả thí nghiệm. Nó được ca ngợi là cả hai nhạy cảm hơn, phù hợp và chọn lọc đối với những phát hiện chân thực (ít tích cực sai) so với thống kê thường xuyên.

Tôi đã khám phá chủ đề này một chút, và cho đến nay tôi vẫn không bị thuyết phục về lợi ích của việc sử dụng số liệu thống kê Bayes. Tuy nhiên, các phân tích Bayes đã được sử dụng để bác bỏ nghiên cứu của Daryl Bem , vì vậy tôi vẫn thận trọng tò mò về cách phân tích Bayes có thể mang lại lợi ích cho chính nghiên cứu của tôi.

Vì vậy, tôi tò mò về những điều sau đây:

Sức mạnh trong phân tích Bayes so với phân tích thường xuyên
Mẫn cảm với lỗi Loại 1 trong từng loại phân tích
Sự đánh đổi trong sự phức tạp của phân tích (Bayesian có vẻ phức tạp hơn) so với lợi ích thu được. Các phân tích thống kê truyền thống rất đơn giản, với các hướng dẫn được thiết lập tốt để rút ra kết luận. Sự đơn giản có thể được xem là một lợi ích. Điều đó có đáng để từ bỏ không?

Cảm ơn cho bất kỳ cái nhìn sâu sắc!

bayesian power frequentist

— trên đỉnh
nguồn

Số liệu thống kê Bayes là số liệu thống kê truyền thống - bạn có thể đưa ra một ví dụ cụ thể cho ý nghĩa của bạn là số liệu thống kê truyền thống không?

@OphirYoktan: Anh ấy nói về xác suất tần số so với xác suất Bayes. Nó thậm chí còn được đề cập trong tiêu đề của câu hỏi.

Tôi nghĩ rằng câu hỏi này nên được chuyển qua đây: stats.stackexchange.com

— Mark Lapierre

Tôi đã hỏi một câu hỏi về meta về việc liệu điều này có nên theo chủ đề hay không.

Tôi nghĩ rằng câu hỏi này có khả năng có câu trả lời "tốt" hoặc "chính xác". Ví dụ, nếu ai đó có thể nói "cho mỗi bài kiểm tra frequentist với loại 1 lỗi

và gõ 2 lỗi

, tồn tại một thử nghiệm Bayesian với loại 1 lỗi

và gõ 2 lỗi

", đây sẽ là một câu trả lời tốt. Hoặc một cái gì đó như "mọi bài kiểm tra thường xuyên tương đương với một bài kiểm tra Bayes với trước đó không chính xác". Tức là đây không phải là một cuộc chiến tôn giáo giữa những người thường xuyên và người Bayes. Tôi chỉ tranh luận vì tôi không hiểu cách trả lời liên quan đến các câu hỏi cụ thể trong OP.

α

$\alpha$

β

$\beta$

α

$\alpha$

β - x

$\beta - x$

— SheldonCooper

Câu trả lời:

Phản hồi nhanh về nội dung gạch đầu dòng:

1) Lỗi nguồn / Loại 1 trong phân tích Bayes so với phân tích thường xuyên

Hỏi về Loại 1 và công suất (tức là trừ đi xác suất xảy ra lỗi Loại 2) ngụ ý rằng bạn có thể đặt vấn đề suy luận của mình vào khung lấy mẫu lặp lại. Bạn có thể? Nếu bạn không thể thì không có nhiều sự lựa chọn ngoài việc tránh xa các công cụ suy luận thường xuyên. Nếu bạn có thể, và nếu hành vi của người ước tính của bạn đối với nhiều mẫu như vậy có liên quan và nếu bạn không đặc biệt quan tâm đến việc đưa ra tuyên bố xác suất về các sự kiện cụ thể, thì tôi không có lý do gì để di chuyển.

Lập luận ở đây không phải là những tình huống như vậy không bao giờ phát sinh - chắc chắn là chúng xảy ra - mà là chúng thường không phát sinh trong các lĩnh vực áp dụng các phương pháp.

2) Sự đánh đổi trong sự phức tạp của phân tích (Bayesian có vẻ phức tạp hơn) so với lợi ích thu được.

Điều quan trọng là hỏi sự phức tạp đi đâu. Trong các thủ tục thường xuyên, việc thực hiện có thể rất đơn giản, ví dụ như giảm thiểu tổng bình phương, nhưng nguyên tắc có thể phức tạp tùy ý, thường xoay quanh việc chọn công cụ ước tính nào, làm thế nào để tìm (các) bài kiểm tra phù hợp, suy nghĩ khi nào họ không đồng ý. Ví dụ. xem các cuộc thảo luận vẫn còn sôi nổi, được chọn trong diễn đàn này, về các khoảng tin cậy khác nhau cho một tỷ lệ!

Trong các thủ tục Bayes, việc triển khai có thể phức tạp một cách tùy tiện ngay cả trong các mô hình trông giống như chúng phải đơn giản, thường là do các tích hợp khó nhưng nguyên tắc cực kỳ đơn giản. Nó phụ thuộc vào nơi bạn muốn sự lộn xộn.

3) Các phân tích thống kê truyền thống rất đơn giản, với các hướng dẫn được thiết lập tốt để rút ra kết luận.

Cá nhân tôi không còn nhớ được nữa, nhưng chắc chắn học sinh của tôi không bao giờ tìm thấy những điều đơn giản này, chủ yếu là do sự phổ biến nguyên tắc được mô tả ở trên. Nhưng câu hỏi không thực sự là liệu một thủ tục có đơn giản không, mà là liệu có gần đúng hơn với cấu trúc của vấn đề hay không.

Cuối cùng, tôi hoàn toàn không đồng ý rằng có "các hướng dẫn được thiết lập tốt để đưa ra kết luận" trong cả hai mô hình. Và tôi nghĩ đó là một điều tốt . Chắc chắn, "tìm p <.05" là một hướng dẫn rõ ràng, nhưng đối với mô hình nào, với những sửa đổi, v.v.? Và tôi phải làm gì khi các bài kiểm tra của tôi không đồng ý? Đánh giá khoa học hoặc kỹ thuật là cần thiết ở đây, vì nó là nơi khác.

— liên hợp
nguồn

Tôi không chắc chắn rằng việc hỏi về lỗi loại 1 / loại 2 có nghĩa là bất cứ điều gì về khung lấy mẫu lặp lại. Có vẻ như ngay cả khi giả thuyết null của tôi không thể được lấy mẫu nhiều lần, vẫn có ý nghĩa khi hỏi về xác suất của lỗi loại 1. Tất nhiên, xác suất trong trường hợp này không phải là trên tất cả các giả thuyết có thể, mà là trên tất cả các mẫu có thể từ giả thuyết duy nhất của tôi.

— SheldonCooper

Dường như với tôi rằng đối số chung là thế này: mặc dù việc tạo ra lỗi loại 1 (hoặc 2) có thể được xác định cho suy luận 'một lần bắn' (Loại 1 so với 2 chỉ là một phần của kiểu lỗi tôi có thể mắc phải) trừ khi tôi mắc lỗi này được nhúng trong các thử nghiệm lặp đi lặp lại, không có loại lỗi nào có thể có xác suất thường xuyên.

— liên hợp chiến binh

Điều tôi đang nói là việc tạo ra lỗi loại 1 (hoặc 2) luôn được nhúng trong các thử nghiệm lặp lại. Mỗi thử nghiệm đang lấy mẫu một tập hợp các quan sát từ giả thuyết null. Vì vậy, ngay cả khi khó có thể tưởng tượng lấy mẫu một giả thuyết khác, các thử nghiệm lặp đi lặp lại vẫn còn đó bởi vì thật dễ để tưởng tượng lấy mẫu một tập hợp quan sát khác từ cùng một giả thuyết.

— SheldonCooper

Câu đố cho tôi điều này: làm thế nào để người ta quyết định "cái gì là ngẫu nhiên?" Ví dụ, giả sử bạn có một chiếc bình, ai đó đang lấy mẫu "ngẫu nhiên" từ chiếc bình. Cũng giả sử một "người quan sát thông minh" cũng có mặt, và họ biết chính xác nội dung của chiếc bình. Việc lấy mẫu vẫn "ngẫu nhiên" mặc dù "người quan sát thông minh" có thể dự đoán chắc chắn chính xác những gì sẽ được rút ra? Có bất cứ điều gì về chiếc bình thay đổi nếu chúng không còn nữa?

— xác suất

Vấn đề tôi có với bản chất "lặp đi lặp lại" của những người thường xuyên là để làm việc, các điều kiện phải giữ nguyên. Nhưng nếu các điều kiện vẫn giữ nguyên, bạn sẽ có thể gộp các tập dữ liệu của mình lại với nhau và có được ước tính tốt hơn. Người thường xuyên bỏ qua các thông tin trong quá khứ một cách chính xác trong các điều kiện khi nó là hợp lý để đưa nó vào tài khoản.

— xác suất

Số liệu thống kê Bayes có thể được bắt nguồn từ một vài nguyên tắc logic. Hãy thử Tìm kiếm "xác suất như logic mở rộng" và bạn sẽ tìm thấy nhiều hơn trong phân tích chuyên sâu về các nguyên tắc cơ bản. Nhưng về cơ bản, số liệu thống kê Bayes dựa trên ba nguyên tắc "desiderata" hoặc quy tắc cơ bản:

Tính hợp lý của một mệnh đề được thể hiện bằng một số thực duy nhất
$p(A|C^{(0)})$ $C^{(0)}\rightarrow C^{(1)}$ $p(A|C^{(1)})>p(A|C^{(0)})$ $p(B|A C^{(0)})=p(B|AC^{(1)})$ $p(AB| C^{(0)})\leq p(AB|C^{(1)})$ $p(\overline{A}|C^{(1)})<p(\overline{A}|C^{(0)})$
Tính hợp lý của một đề xuất là phải được tính toán một cách nhất quán . Điều này có nghĩa là a) nếu tính hợp lý có thể được suy luận theo nhiều cách, thì tất cả các câu trả lời phải bằng nhau; b) Trong hai vấn đề mà chúng tôi được trình bày với cùng một thông tin, chúng tôi phải gán cùng một sự hợp lý; và c) chúng tôi phải tính đến tất cả các thông tin có sẵn. Chúng tôi không được thêm thông tin không có ở đó và chúng tôi không được bỏ qua thông tin mà chúng tôi có.

Ba desiderata (cùng với các quy tắc logic và lý thuyết tập hợp) xác định duy nhất các quy tắc tổng và sản phẩm của lý thuyết xác suất. Vì vậy, nếu bạn muốn suy luận theo ba desiderata ở trên, họ phải áp dụng cách tiếp cận Bayes. Bạn không phải chấp nhận "Triết lý Bayes" nhưng bạn phải chấp nhận kết quả bằng số. Ba chương đầu tiên của cuốn sách này mô tả những điều này chi tiết hơn, và cung cấp bằng chứng.

Và cuối cùng nhưng không kém phần quan trọng, "máy móc Bayes" là công cụ xử lý dữ liệu mạnh nhất mà bạn có. Điều này chủ yếu là do desiderata 3c) sử dụng tất cả thông tin bạn có (điều này cũng giải thích tại sao Bayes có thể phức tạp hơn so với không phải Bayes). Có thể khá khó khăn để quyết định "những gì có liên quan" bằng cách sử dụng trực giác của bạn. Định lý Bayes thực hiện điều này cho bạn (và nó thực hiện nó mà không cần thêm các giả định tùy ý, cũng do 3c).

$H_0$ $H_1$ $L_1$ $H_0$ $L_2$ $H_0$

$P(H_0|E_1,E_2,\dots)$ $E_i$ bạn muốn phép tính kết hợp vào phân tích
$P(H_1|E_1,E_2,\dots)$
$O=\frac{P(H_0|E_1,E_2,\dots)}{P(H_1|E_1,E_2,\dots)}$
$H_0$ $O > \frac{L_2}{L_1}$

$H_0$ $O>>1$ $H_1$ $O<<1$ $O\approx 1$

Bây giờ nếu phép tính trở nên "quá khó", thì bạn phải tính gần đúng các số hoặc bỏ qua một số thông tin.

Để biết ví dụ thực tế với các con số đã giải quyết, hãy xem câu trả lời của tôi cho câu hỏi này

— xác suất
nguồn

Tôi không chắc làm thế nào điều này trả lời câu hỏi. Những người thường xuyên tất nhiên không đồng ý với desideratum 1 từ danh sách này, vì vậy phần còn lại của cuộc tranh luận không áp dụng cho họ. Nó cũng không trả lời bất kỳ câu hỏi cụ thể nào trong OP, chẳng hạn như "phân tích Bayes mạnh hơn hay ít bị lỗi hơn so với phân tích thường xuyên".

— SheldonCooper

@sheldoncooper - nếu một người thường xuyên không đồng ý với desideratum 1, thì trên cơ sở nào họ có thể xây dựng khoảng tin cậy 95%? Họ phải yêu cầu một số bổ sung.

— xác suất

@sheldoncooper - và hơn nữa, xác suất lấy mẫu sẽ phải được xác định lại, vì chúng cũng chỉ có 1 số. Một người thường xuyên không thể từ chối desideratum 1 mà không từ chối lý thuyết của riêng họ

— xác suất

p (H_{1} | . . .)

$p(H_1|...)$

p (E_{1}, E_{2}, . . . | H_{0})

$p(E_1, E_2, ... | H_0)$

H_{0}

$H_0$

"Họ không thể từ chối desideratum 1 mà không từ chối lý thuyết của chính họ" - ý của bạn là gì? Những người thường xuyên không có khái niệm về "tính hợp lý". Họ có một khái niệm về "tần suất xuất hiện trong các thử nghiệm lặp lại". Tần số này thỏa mãn các điều kiện tương tự như ba desiderata của bạn và do đó xảy ra tuân theo các quy tắc tương tự. Do đó, đối với bất cứ điều gì mà khái niệm tần số được xác định, bạn có thể sử dụng các định luật xác suất mà không có bất kỳ vấn đề nào.

— SheldonCooper

Bản thân tôi không quen thuộc với Bayesian Statistics nhưng tôi biết rằng Hướng dẫn hoài nghi về vũ trụ Tập 294 có và phỏng vấn với Eric-Jan Wagenmakers nơi họ thảo luận về Bayesian Statistics. Đây là một liên kết đến podcast: http://www.theskepticsguide.org/archive/podcastinfo.aspx?mid=1&pid=294