Một ví dụ hay, thuyết phục trong đó giá trị p là hữu ích là gì?

Câu hỏi của tôi trong tiêu đề là tự giải thích, nhưng tôi muốn cung cấp cho nó một số bối cảnh.

ASA đã đưa ra một tuyên bố vào đầu tuần này về giá trị p: bối cảnh, quy trình và mục đích , nêu ra những quan niệm sai lầm phổ biến khác nhau về giá trị p, và thúc giục không sử dụng nó mà không có ngữ cảnh và suy nghĩ (có thể nói chỉ về bất kỳ phương pháp thống kê, thực sự).

Trả lời ASA, giáo sư Matloff đã viết một bài đăng trên blog có tiêu đề: Sau 150 năm, ASA nói Không với giá trị p . Sau đó, giáo sư Stewamini (và tôi) đã viết một bài phản hồi có tiêu đề Đó không phải là lỗi của giá trị p - những phản ánh về tuyên bố ASA gần đây . Để đáp lại, giáo sư Matloff đã hỏi trong một bài tiếp theo :

Những gì tôi muốn thấy [... là] - một ví dụ hay, thuyết phục trong đó giá trị p là hữu ích. Đó thực sự phải là điểm mấu chốt.

Để trích dẫn hai lập luận chính của ông chống lại tính hữu ích của giá trị :$p$

1. Với các mẫu lớn, các thử nghiệm quan trọng nảy ra trên các khởi hành nhỏ, không quan trọng từ giả thuyết null.

2. Hầu như không có giả thuyết null nào là đúng trong thế giới thực, vì vậy thực hiện một bài kiểm tra quan trọng đối với chúng là vô lý và kỳ quái.

Tôi rất quan tâm đến những gì các thành viên cộng đồng đánh giá cao khác nghĩ gì về câu hỏi / lập luận này và về những gì có thể tạo thành một câu trả lời tốt cho nó.

Tôi sẽ xem xét cả hai điểm của Matloff:

1. Với các mẫu lớn, các thử nghiệm quan trọng nảy ra trên các khởi hành nhỏ, không quan trọng từ giả thuyết null.

   Logic ở đây là nếu ai đó báo cáo có ý nghĩa cao , thì chỉ từ con số này, chúng ta không thể nói nếu hiệu ứng là lớn và quan trọng hay nhỏ không liên quan (như có thể xảy ra với lớn ). Tôi thấy lập luận này lạ và không thể kết nối với nó, bởi vì tôi chưa bao giờ thấy một nghiên cứu nào báo cáo giá trị mà không báo cáo kích thước hiệu ứng [tương đương]. Các nghiên cứu mà tôi đọc sẽ ví dụ nói (và thường hiển thị trên một hình) rằng nhóm A có nghĩa như vậy và nhóm B có nghĩa như vậy và có nghĩa như vậy và chúng khác biệt đáng kể với giá trị như vậy . Tôi rõ ràng có thể tự đánh giá nếu sự khác biệt giữa A và B lớn hay nhỏ.n p $p=0.0001$$n$$p$$p$

   (Trong các bình luận, @RobinEkman đã chỉ cho tôi một số nghiên cứu được trích dẫn bởi Ziliak & McCloskey ( 1996 , 2004 ), người đã quan sát thấy rằng phần lớn các bài báo kinh tế thổi phồng "ý nghĩa thống kê" của một số hiệu ứng mà không chú ý đến kích thước hiệu ứng và "ý nghĩa thực tế" của nó (mà theo lập luận của Z & MS, thường có thể rất nhỏ). Đây rõ ràng là một thực tiễn tồi tệ.

2. Hầu như không có giả thuyết null nào là đúng trong thế giới thực, vì vậy thực hiện một bài kiểm tra quan trọng đối với chúng là vô lý và kỳ quái.

   Mối quan tâm này cũng thường được lên tiếng, nhưng ở đây một lần nữa tôi không thể thực sự kết nối với nó. Điều quan trọng là phải nhận ra rằng các nhà nghiên cứu không tăng ad infinitum của họ . Trong ngành khoa học thần kinh mà tôi quen thuộc, mọi người sẽ làm thí nghiệm với hoặc có thể , giả sử, chuột. Nếu không có hiệu ứng để được nhìn thấy thì kết luận là hiệu ứng không đủ lớn để trở nên thú vị. Không ai biết tôi sẽ đi vào chăn nuôi, đào tạo, ghi âm, và hy sinh chuột để chứng minh rằng có là một số tác dụng ý nghĩa thống kê nhưng nhỏ xíu. Và trong khi có thể đúng là hầu như không có hiệu ứng thực sự chính xác bằng không, đó làn = 20 n = 50 n = $n$ $n=20$$n=50$$n=5000$ chắc chắn đúng rằng nhiều hiệu ứng thực sự đủ nhỏ để được phát hiện với kích thước mẫu hợp lý mà các nhà nghiên cứu hợp lý đang thực sự sử dụng, thực hiện phán đoán tốt của họ.

   (Có một mối quan tâm hợp lệ là kích thước mẫu thường không đủ lớn và nhiều nghiên cứu bị thiếu năng lực. Vì vậy, có lẽ các nhà nghiên cứu trong nhiều lĩnh vực nên nhắm vào, giả sử, thay vì Tuy nhiên, dù kích thước mẫu là gì , nó đặt giới hạn về kích thước hiệu ứng mà nghiên cứu có sức mạnh để phát hiện.)n = $n=100$$n=20$

   Ngoài ra, tôi không nghĩ rằng tôi đồng ý rằng hầu như không có giả thuyết null nào là đúng, ít nhất là không phải trong các nghiên cứu ngẫu nhiên thử nghiệm (trái ngược với các nghiên cứu quan sát). Hai lý do:

   • Rất thường có một định hướng cho dự đoán đang được thử nghiệm; nhà nghiên cứu nhằm mục đích chứng minh rằng một số hiệu ứng là tích cực . Theo quy ước, điều này thường được thực hiện với thử nghiệm hai mặt giả sử điểm null nhưng thực tế đây là thử nghiệm một phía cố gắng từ chối . (@ Câu trả lời CliffAB của, +1, làm cho một điểm có liên quan.) Và đây có thể chắc chắn là đúng.H 0 : δ = 0 H 0 : δ < $\delta>0$$H_0: \delta=0$$H_0: \delta<0$

   • Ngay cả khi nói về điểm "nil" null , tôi không hiểu tại sao chúng không bao giờ đúng. Một số thứ chỉ không liên quan đến nhân quả với những thứ khác. Nhìn vào các nghiên cứu tâm lý học không thể lặp lại trong những năm qua: mọi người cảm thấy tương lai; Phụ nữ mặc quần áo màu đỏ khi rụng trứng; mồi với những từ liên quan đến tuổi già ảnh hưởng đến tốc độ đi bộ; v.v ... Rất có thể là không có mối liên hệ nhân quả nào ở đây cả và vì vậy các hiệu ứng thực sự chính xác bằng không.$H_0: \delta=0$

Chính mình, Norm Matloff đề nghị sử dụng khoảng tin cậy thay vì giá trị vì chúng cho thấy kích thước hiệu ứng. Khoảng tin cậy là tốt, nhưng lưu ý một nhược điểm của khoảng tin cậy so với giá trị : khoảng tin cậy được báo cáo cho một giá trị bảo hiểm cụ thể, ví dụ . Nhìn thấy khoảng tin cậy không cho tôi biết khoảng tin cậy sẽ rộng đến mức nào . Nhưng một giá trị duy nhất có thể được so sánh với bất kỳ và các độc giả khác nhau có thể có các bảng chữ cái khác nhau trong tâm trí.p 95 % 95 % 99 % p $p$$p$$95\%$$95\%$$99\%$$p$$\alpha$

Nói cách khác, tôi nghĩ rằng đối với ai đó thích sử dụng khoảng tin cậy, giá trị là một thống kê bổ sung hữu ích và có ý nghĩa để báo cáo.$p$

Tôi muốn đưa ra một trích dẫn dài về tính hữu ích thực tế của giá trị từ blogger yêu thích của tôi Scott Alexander; ông không phải là một nhà thống kê (ông là một bác sĩ tâm thần) nhưng có nhiều kinh nghiệm với việc đọc các tài liệu tâm lý / y học và xem xét kỹ các số liệu thống kê trong đó. Trích dẫn từ bài đăng trên blog của anh ấy về nghiên cứu sô cô la giả mà tôi rất khuyến khích. Nhấn mạnh mỏ.$p$

[...] Nhưng giả sử chúng ta không được phép làm giá trị . Tất cả những gì tôi làm là nói với bạn "Vâng, có một nghiên cứu với mười lăm người đã tìm thấy sô cô la giúp kháng insulin" và bạn cười vào mặt tôi. Kích thước hiệu ứng được cho là để giúp với điều đó. Nhưng giả sử tôi nói với bạn "Có một nghiên cứu với mười lăm người đã tìm thấy sô cô la giúp kháng insulin. Kích thước hiệu quả là ." Tôi hoàn toàn không có trực giác cho dù điều đó có phù hợp với tiếng ồn ngẫu nhiên hay không. Phải không Được rồi, sau đó họ nói rằng chúng tôi phải báo cáo khoảng tin cậy. Kích thước hiệu ứng là , với khoảng tin cậy là0,6 0,6 95 % [ 0,2 , 1,0 ] p 95 % p $p$$0.6$$0.6$$95\%$$[0.2, 1.0]$. Được chứ. Vì vậy, tôi kiểm tra giới hạn dưới của khoảng tin cậy, tôi thấy nó khác 0. Nhưng bây giờ tôi không vượt quá giá trị . Tôi chỉ đang sử dụng giá trị p bằng cách tự mình thực hiện một phép tính kydgy - khoảng tin cậy không bao gồm zero, giống như giá trị nhỏ hơn .$p$$95\%$$p$$0.05$

(Hãy tưởng tượng rằng, mặc dù tôi biết khoảng tin cậy không bao gồm 0, tôi bắt đầu tự hỏi liệu khoảng tin cậy có làm gì không. Nếu chỉ có một số thống kê sẽ cung cấp cho tôi thông tin này!)99 $95\%$$99\%$

Nhưng liệu việc loại bỏ giá trị ngăn cản được không? Có thể, nhưng nó sẽ nhường chỗ cho những trò chơi hack d-hack. Bạn không nghĩ rằng bạn có thể kiểm tra hai mươi thông số trao đổi chất khác nhau và chỉ báo cáo một thông số có kích thước hiệu ứng cao nhất? Sự khác biệt duy nhất là p-hacking là hoàn toàn minh bạch - nếu bạn làm hai mươi kiểm tra và báo cáo một của , tôi biết bạn là một thằng ngốc - nhưng d-hack sẽ là bí hiểm. Nếu bạn thực hiện hai mươi bài kiểm tra và báo cáo rằng một trong số chúng có , điều đó có ấn tượng không? [...]p p 0,05 d = $p$$p$$p$$0.05$$d = 0.6$

Nhưng việc chuyển đổi từ giá trị sang kích thước hiệu ứng sẽ khiến mọi người không thể tạo ra một vấn đề lớn về các hiệu ứng nhỏ mà vẫn có ý nghĩa thống kê? Có, nhưng đôi khi chúng tôi muốn tạo ra một vấn đề lớn về các hiệu ứng nhỏ mà vẫn có ý nghĩa thống kê! Giả sử rằng Coca-Cola đang thử nghiệm một chất phụ gia sản phẩm mới và tìm thấy trong các nghiên cứu dịch tễ học lớn rằng nó gây ra thêm một cái chết cho mỗi trăm nghìn người mỗi năm. Đó là kích thước hiệu ứng xấp xỉ bằng 0, nhưng nó vẫn có thể có ý nghĩa thống kê. Và vì khoảng một tỷ người trên toàn thế giới uống Coke mỗi năm, đó là một nghìn người chết. Nếu Coke nói, Nope, kích thước hiệu ứng quá nhỏ, không đáng để nghĩ về, thì họ sẽ giết chết gần hai triệu người Hitler.$p$

Đối với một số thảo luận thêm về các lựa chọn thay thế khác nhau cho giá trị (bao gồm cả giá trị Bayes), hãy xem câu trả lời của tôi trong ASA thảo luận về các hạn chế của giá trị - các lựa chọn thay thế là gì?p$p$$p$

Tôi rất khó chịu ở hai ý tưởng sau:

1. Với các mẫu lớn, các thử nghiệm quan trọng nảy ra trên các khởi hành nhỏ, không quan trọng từ giả thuyết null.

2. Hầu như không có giả thuyết null nào là đúng trong thế giới thực, vì vậy thực hiện một bài kiểm tra quan trọng đối với chúng là vô lý và kỳ quái.

Đó là một lập luận rơm về giá trị p. Vấn đề rất cơ bản thúc đẩy sự phát triển của thống kê xuất phát từ việc nhìn thấy một xu hướng và muốn biết liệu những gì chúng ta nhìn thấy là tình cờ hay đại diện cho một xu hướng có hệ thống.

$H_o: \mu_d = 0$$\mu_d$$\mu_d \neq 0$$\mu_d > 0$$\mu_d < 0$$\mu_d > 0$$\mu_d = 0$$\mu_d < 0$

Đúng là điều này không cho bạn biết mức độ ảnh hưởng. Nhưng nó cho bạn biết hướng của hiệu ứng. Vì vậy, đừng đặt xe ngựa trước ngựa; trước khi tôi bắt đầu rút ra kết luận về mức độ của hiệu ứng, tôi muốn tự tin rằng tôi đã có hướng chính xác của hiệu ứng!

$H_{1}:\mu_d > 1$$H_{2}: \mu_d < -1$

Để minh họa thêm cho điều này, giả sử chúng ta chỉ nhìn vào khoảng tin cậy và loại bỏ các giá trị p. Điều đầu tiên bạn sẽ kiểm tra trong khoảng tin cậy là gì? Cho dù hiệu quả là hoàn toàn tích cực (hoặc tiêu cực) trước khi kết quả quá nghiêm trọng. Như vậy, ngay cả khi không có giá trị p, chúng tôi sẽ thực hiện kiểm tra giả thuyết một cách không chính thức.

Cuối cùng, liên quan đến yêu cầu của OP / Matloff, "Đưa ra một lập luận thuyết phục về giá trị p sẽ tốt hơn đáng kể", tôi nghĩ rằng câu hỏi hơi khó xử. Tôi nói điều này bởi vì tùy thuộc vào quan điểm của bạn, nó sẽ tự động trả lời ("cho tôi một ví dụ cụ thể trong đó kiểm tra giả thuyết tốt hơn là không kiểm tra chúng"). Tuy nhiên, một trường hợp đặc biệt mà tôi nghĩ gần như không thể phủ nhận là dữ liệu RNAseq. Trong trường hợp này, chúng ta thường xem xét mức độ biểu hiện của RNA trong hai nhóm khác nhau (nghĩa là bị bệnh, kiểm soát) và cố gắng tìm các gen được biểu hiện khác biệt trong hai nhóm. Trong trường hợp này, kích thước hiệu ứng tự nó thậm chí không thực sự có ý nghĩa. Điều này là do mức độ biểu hiện của các gen khác nhau rất khác nhau đến nỗi đối với một số gen, biểu hiện cao gấp 2 lần không có nghĩa gì cả, trong khi trên các gen quy định chặt chẽ khác, biểu hiện cao hơn 1,2 lần là gây tử vong. Vì vậy, cường độ thực tế của kích thước hiệu ứng thực sự không thú vị khi lần đầu tiên so sánh các nhóm. Nhưng bạnthực sự, thực sự muốn biết nếu sự biểu hiện của gen thay đổi giữa các nhóm và hướng thay đổi! Hơn nữa, rất khó để giải quyết các vấn đề của nhiều phép so sánh (mà bạn có thể thực hiện 20.000 trong số chúng trong một lần chạy) với các khoảng tin cậy so với giá trị p.

Tha thứ cho sự mỉa mai của tôi, nhưng một ví dụ điển hình rõ ràng về tiện ích của giá trị p là trong việc xuất bản. Tôi đã có một người thí nghiệm tiếp cận tôi để tạo ra giá trị p ... anh ấy đã giới thiệu một gen chuyển trong một cây duy nhất để cải thiện sự tăng trưởng. Từ nhà máy đơn lẻ đó, ông đã tạo ra nhiều bản sao và chọn bản sao lớn nhất, một ví dụ trong đó toàn bộ dân số được liệt kê. Câu hỏi của anh ấy, người đánh giá muốn thấy một giá trị p mà bản sao này là lớn nhất. Tôi đã đề cập rằng không cần bất kỳ số liệu thống kê nào trong trường hợp này vì anh ta có toàn bộ dân số trong tay, nhưng không có kết quả.

Nghiêm trọng hơn, theo quan điểm khiêm tốn của tôi, từ góc độ học thuật, tôi thấy những cuộc thảo luận này thú vị và kích thích, giống như các cuộc tranh luận thường xuyên vs Bayes từ vài năm trước. Nó đưa ra những quan điểm khác nhau của những bộ óc tốt nhất trong lĩnh vực này và làm sáng tỏ nhiều giả định / cạm bẫy liên quan đến phương pháp luận mà thường không dễ dàng nhận thấy.

Trong thực tế, tôi nghĩ rằng thay vì tranh luận về cách tiếp cận tốt nhất và thay thế một thước đo thiếu sót bằng một thước đo khác, như đã được đề xuất trước đây, đối với tôi, đó là một sự mặc khải về một vấn đề hệ thống tiềm ẩn và cần tập trung vào việc cố gắng tìm ra tối ưu các giải pháp. Chẳng hạn, người ta có thể đưa ra các tình huống trong đó các giá trị p và CI bổ sung cho nhau và hoàn cảnh trong đó một tình huống đáng tin cậy hơn các tình huống khác. Trong sơ đồ lớn, tôi hiểu rằng tất cả các công cụ suy luận đều có những thiếu sót riêng cần được hiểu trong bất kỳ ứng dụng nào để không cản trở tiến trình hướng tới mục tiêu cuối cùng .. sự hiểu biết sâu sắc hơn về hệ thống nghiên cứu.

Tôi sẽ cung cấp cho bạn trường hợp mẫu mực về cách sử dụng và báo cáo giá trị p. Đây là một báo cáo gần đây về việc tìm kiếm một hạt bí ẩn trên Máy va chạm Hadron lớn (LHC) ở CERN .

Vài tháng trước, có rất nhiều cuộc trò chuyện hào hứng trong giới vật lý năng lượng cao về khả năng một hạt lớn được phát hiện trên LHC. Hãy nhớ điều này là sau khi phát hiện ra boson của Higgs . Đây là đoạn trích từ bài báo "Tìm kiếm cộng hưởng phân rã thành các cặp photon trong 3,2 fb − 1 va chạm pp tại √s = 13 TeV với máy dò ATLAS" của Cộng tác viên ATLAS ngày 15 tháng 12 năm 2015 và nhận xét của tôi theo sau:

Điều họ nói ở đây là số lượng sự kiện vượt quá những gì Mô hình Chuẩn dự đoán. Hình dưới đây từ bài báo cho thấy giá trị p của các sự kiện dư thừa dưới dạng hàm của một khối hạt. Bạn thấy cách p-value lặn khoảng 750 GeV. Vì vậy, họ nói rằng có khả năng một hạt mới được phát hiện với khối lượng tương đương 750 Giga eV . Các giá trị p trên hình được tính là "cục bộ". Giá trị p toàn cầu cao hơn nhiều. Điều đó không quan trọng cho cuộc trò chuyện của chúng tôi.

Điều quan trọng là giá trị p chưa "đủ thấp" để các nhà vật lý tuyên bố tìm thấy, nhưng "đủ thấp" để có hứng thú. Vì vậy, họ dự định tiếp tục đếm và hy vọng rằng giá trị p sẽ giảm hơn nữa.

Thu phóng một vài tháng tới tháng 8 năm 2016, Chicago, một hội nghị về HEP . Có một báo cáo mới trình bày "Tìm kiếm sự sản xuất cộng hưởng của các cặp photon khối lượng lớn bằng cách sử dụng 12,9 fb − 1 va chạm proton-proton ở √ s = 13 TeV và kết hợp giải thích các tìm kiếm ở 8 và 13 TeV" của Hợp tác CMS lần này. Đây là đoạn trích với ý kiến ​​của tôi một lần nữa:

Vì vậy, các chàng trai tiếp tục thu thập các sự kiện, và bây giờ, các sự kiện dư thừa ở 750 GeV đã biến mất. Hình dưới đây từ bài báo cho thấy giá trị p và bạn có thể thấy giá trị p tăng so với báo cáo đầu tiên. Vì vậy, họ buồn bã kết luận rằng không có hạt nào được phát hiện ở 750 GeV.

Tôi nghĩ rằng đây là cách giá trị p được sử dụng. Họ hoàn toàn có ý nghĩa, và họ rõ ràng làm việc. Tôi nghĩ lý do là cách tiếp cận thường xuyên vốn dĩ là tự nhiên trong vật lý. Không có gì chủ quan về sự tán xạ hạt. Bạn thu thập một mẫu đủ lớn và bạn nhận được tín hiệu rõ ràng nếu nó ở đó.

Nếu bạn thực sự quan tâm đến cách tính giá trị p chính xác ở đây, hãy đọc bài viết này : "Công thức tiệm cận cho các thử nghiệm vật lý mới dựa trên khả năng" của Cowan et al

Các giải thích khác đều ổn, tôi chỉ muốn thử và đưa ra một câu trả lời ngắn gọn và trực tiếp cho câu hỏi xuất hiện trong đầu tôi.

Kiểm tra sự mất cân bằng đồng biến trong các thí nghiệm ngẫu nhiên

Khiếu nại thứ hai của bạn (về các giả thuyết null không thực tế) là không đúng khi chúng tôi đang kiểm tra số dư đồng biến trong các thử nghiệm ngẫu nhiên trong đó chúng tôi biết việc ngẫu nhiên được thực hiện đúng. Trong trường hợp này, chúng tôi biết rằng giả thuyết null là đúng. Dĩ nhiên, nếu chúng ta có một sự khác biệt đáng kể giữa nhóm điều trị và nhóm đối chứng - sau khi kiểm soát nhiều so sánh - thì điều đó cho chúng ta biết rằng chúng ta đã có "kết quả xấu" trong ngẫu nhiên và chúng ta có thể không nên tin vào ước tính nguyên nhân như nhiều Điều này là do chúng tôi có thể nghĩ rằng ước tính hiệu quả điều trị của chúng tôi từ sự ngẫu nhiên "rút thăm xấu" đặc biệt này khác xa với hiệu quả điều trị thực sự so với ước tính thu được từ "kết quả tốt".

Tôi nghĩ rằng đây là một cách sử dụng hoàn hảo các giá trị p. Nó sử dụng định nghĩa của giá trị p: xác suất nhận được một giá trị là cực trị hoặc đưa ra giả thuyết null. Nếu kết quả rất khó xảy ra, thì thực tế chúng tôi đã nhận được một "trận hòa tồi tệ".

Bảng / thống kê cân bằng cũng phổ biến khi sử dụng dữ liệu quan sát để thử và đưa ra các kết luận nguyên nhân (ví dụ: so khớp, thí nghiệm tự nhiên). Mặc dù trong các trường hợp này, các bảng cân đối không đủ để chứng minh nhãn "nhân quả" cho các ước tính.

Kiểm soát tỷ lệ lỗi tương tự như kiểm soát chất lượng trong sản xuất. Robot trong dây chuyền sản xuất có một quy tắc để quyết định rằng một bộ phận bị lỗi, đảm bảo không vượt quá tỷ lệ xác định của các bộ phận bị lỗi mà không bị phát hiện. Tương tự, một cơ quan đưa ra quyết định phê duyệt thuốc dựa trên các giá trị P "trung thực" có một cách để giữ tỷ lệ từ chối sai ở mức được kiểm soát, theo định nghĩa thông qua việc xây dựng các xét nghiệm dài hạn thường xuyên. Ở đây, "trung thực" có nghĩa là không có sự thiên vị không được kiểm soát, các lựa chọn ẩn, v.v.

Tuy nhiên, cả robot và cơ quan đều không có cổ phần cá nhân trong bất kỳ loại thuốc cụ thể nào hoặc một bộ phận đi qua băng tải lắp ráp. Trong khoa học, mặt khác, chúng tôi, với tư cách là các nhà điều tra cá nhân quan tâm nhất đến giả thuyết cụ thể mà chúng tôi nghiên cứu, hơn là về tỷ lệ khiếu nại giả trong tạp chí yêu thích của chúng tôi. Cả cường độ giá trị P cũng như giới hạn của khoảng tin cậy (CI) đều đề cập trực tiếp đến câu hỏi của chúng tôi về độ tin cậy của những gì chúng tôi báo cáo. Khi chúng ta xây dựng giới hạn CI, chúng ta nên nói rằng ý nghĩa duy nhất của hai con số là nếu các nhà khoa học khác thực hiện cùng một loại tính toán CI trong nghiên cứu của họ, thì 95% hoặc bất cứ điều gì sẽ được duy trì trong toàn bộ các nghiên cứu khác nhau .

Trong ánh sáng này, tôi thấy thật mỉa mai khi các giá trị P đang bị các tạp chí "cấm", vì trong khủng hoảng nhân rộng, chúng có giá trị hơn đối với các biên tập viên tạp chí hơn là các nhà nghiên cứu gửi bài báo của họ, như một cách thực tế để giữ tỷ lệ phát hiện giả được báo cáo bởi một tạp chí tại vịnh, về lâu dài. Giá trị P rất tốt trong việc lọc hoặc như IJ Good đã viết, chúng rất tốt để bảo vệ phần sau của nhà thống kê, nhưng không quá nhiều phần phía sau của máy khách.

Tái bút: Tôi là một fan hâm mộ lớn của ý tưởng của Stewamini và Hochberg về việc kỳ vọng vô điều kiện qua các nghiên cứu với nhiều bài kiểm tra. Theo "null" toàn cầu, FDR "thường xuyên" vẫn được kiểm soát - các nghiên cứu với một hoặc nhiều từ chối xuất hiện trên một tạp chí với tỷ lệ được kiểm soát, mặc dù, trong trường hợp này, bất kỳ nghiên cứu nào thực hiện một số từ chối thực sự đều có tỷ lệ từ chối sai bằng một.

Tôi đồng ý với Matt rằng giá trị p rất hữu ích khi giả thuyết null là đúng.

Ví dụ đơn giản nhất tôi có thể nghĩ đến là thử nghiệm một trình tạo số ngẫu nhiên. Nếu trình tạo hoạt động chính xác, bạn có thể sử dụng bất kỳ kích thước mẫu phù hợp nào của việc thực hiện và khi kiểm tra sự phù hợp trên nhiều mẫu, các giá trị p phải có phân phối đồng đều. Nếu họ làm, đây là bằng chứng tốt cho một thực hiện chính xác. Nếu họ không, bạn biết bạn đã mắc lỗi ở đâu đó.

Các tình huống tương tự khác xảy ra khi bạn biết một biến thống kê hoặc biến ngẫu nhiên nên có một phân phối nhất định (một lần nữa, bối cảnh rõ ràng nhất là mô phỏng). Nếu các giá trị p là đồng nhất, bạn đã tìm thấy hỗ trợ cho việc triển khai hợp lệ. Nếu không, bạn biết bạn có một vấn đề ở đâu đó trong mã của bạn.

Tôi có thể nghĩ về ví dụ trong đó giá trị p là hữu ích, trong Vật lý năng lượng cao thực nghiệm. Xem hình 1 Sơ đồ này được lấy từ bài báo này: Quan sát một hạt mới trong quá trình tìm kiếm boson Model Higgs tiêu chuẩn với máy dò ATLAS tại LHC

$5 \sigma$$_\mathrm{H} \approx 125$