Có hai nỗ lực để làm chính xác những gì bạn đã nói trong lịch sử thống kê, Bayes và Fiducial. RA Fisher đã thành lập hai trường phái tư duy thống kê, trường phái Likributionist được xây dựng dựa trên phương pháp khả năng tối đa và Fiducial, kết thúc trong thất bại nhưng cố gắng thực hiện chính xác những gì bạn muốn.
Câu trả lời ngắn gọn về lý do tại sao nó thất bại là phân phối xác suất của nó đã không kết hợp với sự thống nhất. Bài học, cuối cùng, là xác suất trước đó là một điều cần thiết để tạo ra những gì bạn đang cố gắng tạo ra. Thật vậy, bạn đang đi thẳng vào con đường của một trong những nhà thống kê vĩ đại nhất trong lịch sử và hơn một vài trong số những người vĩ đại khác đã chết với hy vọng giải quyết vấn đề này. Nếu nó được tìm thấy, nó sẽ đặt các phương pháp giả thuyết null ngang bằng với các phương pháp Bayes về các loại vấn đề mà chúng có thể giải quyết. Thật vậy, nó sẽ vượt qua Bayes trừ khi có thông tin thực sự trước đó.
Bạn cũng muốn cẩn thận với tuyên bố của mình rằng giá trị p cho thấy khả năng thay thế cao hơn. Điều đó chỉ đúng trong trường phái Ngư dân. Điều đó hoàn toàn không đúng trong trường học thường xuyên Pearson-Neyman. Đặt cược của bạn ở phía dưới dường như là đặt cược Pearson-Neyman trong khi giá trị p của bạn không tương thích vì nó đến từ trường Ngư nghiệp.
Để làm từ thiện tôi sẽ giả sử, ví dụ của bạn, rằng không có sự thiên vị xuất bản và do đó chỉ có kết quả quan trọng xuất hiện trong các tạp chí tạo ra tỷ lệ phát hiện sai cao. Tôi đang coi đây là một mẫu ngẫu nhiên của tất cả các nghiên cứu được thực hiện, bất kể kết quả. Tôi sẽ lập luận rằng tỷ lệ cá cược của bạn sẽ không được kết hợp theo nghĩa cổ điển của từ Finetti.
Trong thế giới của de Finetti, một vụ cá cược là mạch lạc nếu người chơi không thể đánh cược với người chơi để họ đối mặt với một trận thua chắc chắn. Trong cách xây dựng đơn giản nhất, nó giống như giải pháp cho vấn đề cắt bánh. Một người cắt mảnh làm đôi, nhưng người kia chọn mảnh nào họ muốn. Trong công trình này, một người sẽ nêu giá cho các cược trên mỗi giả thuyết, nhưng người kia sẽ chọn mua hoặc bán cược. Về bản chất, bạn có thể bán null. Để được tối ưu, tỷ lệ cược sẽ phải hoàn toàn công bằng. Giá trị P làm để không dẫn đến tỷ lệ cược công bằng.
Để minh họa điều này, hãy xem xét nghiên cứu của Wetzels và cộng sự tại http://ejwagenmakers.com/2011/WetzelsEtAl2011_855.pdf
Các trích dẫn là: Ruud Wetzels, Dora Matzke, Michael D. Lee, Jeffrey N. Rounder, Geoffrey J. Iverson và Eric-Jan Wagenmakers. Bằng chứng thống kê trong tâm lý học thực nghiệm: So sánh theo kinh nghiệm sử dụng 855 t bài kiểm tra. Quan điểm về khoa học tâm lý. 6 (3) 29-298. 2011
Đây là so sánh trực tiếp của 855 bài kiểm tra t được công bố sử dụng các yếu tố Bayes để bỏ qua vấn đề phân phối trước đó. Trong 70% giá trị p trong khoảng từ 0,05 đến 0,01, các yếu tố Bayes là tốt nhất, giai thoại. Điều này là do hình thức toán học được sử dụng bởi những người thường xuyên để giải quyết vấn đề.
Các phương pháp giả thuyết Null cho rằng mô hình là đúng và bằng cách xây dựng chúng sử dụng phân phối thống kê minimax thay vì phân phối xác suất. Cả hai yếu tố này đều tác động đến sự khác biệt giữa các giải pháp Bayes và không Bayes. Hãy xem xét một nghiên cứu trong đó phương pháp Bayes đánh giá xác suất sau của giả thuyết là ba phần trăm. Hãy tưởng tượng rằng giá trị p nhỏ hơn năm phần trăm. Cả hai đều đúng vì ba phần trăm là ít hơn năm phần trăm. Tuy nhiên, giá trị p không phải là một xác suất. Nó chỉ nêu giá trị tối đa có thể là xác suất nhìn thấy dữ liệu, chứ không phải xác suất thực tế mà một giả thuyết là đúng hay sai. Thật vậy, trong cấu trúc giá trị p, bạn không thể phân biệt giữa các hiệu ứng do tình cờ với null thực và null sai với dữ liệu tốt.
Nếu bạn nhìn vào nghiên cứu Wetzel, bạn sẽ lưu ý rằng rất rõ ràng rằng tỷ lệ cược được ngụ ý bởi các giá trị p không khớp với tỷ lệ cược theo biện pháp Bayes. Vì biện pháp Bayes vừa được chấp nhận vừa kết hợp, và phi Bayes không mạch lạc, nên không an toàn khi giả sử ánh xạ giá trị p đến xác suất thực. Giả định bắt buộc rằng null là hợp lệ cung cấp xác suất bảo hiểm tốt, nhưng nó không tạo ra xác suất cờ bạc tốt.
Để hiểu rõ hơn về lý do tại sao, hãy xem xét tiên đề đầu tiên của Cox rằng tính hợp lý của một giả thuyết có thể được mô tả bằng một con số thực. Ngẫu nhiên, điều này có nghĩa là tất cả các giả thuyết có một số thực gắn liền với tính hợp lý của chúng. Trong các phương pháp giả thuyết null, chỉ null có một số thực gắn liền với tính hợp lý của nó. Giả thuyết thay thế không có phép đo nào được thực hiện và nó chắc chắn không phải là phần bổ sung cho xác suất quan sát dữ liệu cho rằng null là đúng. Thật vậy, nếu null là đúng, thì phần bù là sai bởi giả định mà không liên quan đến dữ liệu.
Nếu bạn xây dựng các xác suất sử dụng giá trị p làm cơ sở cho phép đo của mình, thì Bayesian sử dụng các phép đo Bayes sẽ luôn có khả năng có lợi thế hơn bạn. Nếu Bayesian đặt tỷ lệ cược thì lý thuyết quyết định của Pearson và Neyman sẽ đưa ra tuyên bố đặt cược hoặc không đặt cược, nhưng họ sẽ không thể xác định số tiền đặt cược. Vì tỷ lệ cược Bayes là công bằng, mức tăng dự kiến từ việc sử dụng phương pháp của Pearson và Neyman sẽ bằng không.
Thật vậy, nghiên cứu Wetzel thực sự là những gì bạn đang nói, nhưng với 145 lần đặt cược ít hơn. Nếu bạn nhìn vào bảng ba, bạn sẽ thấy một số nghiên cứu trong đó Người thường xuyên từ chối null, nhưng Bayesian thấy rằng xác suất ủng hộ null.