Tại sao giá trị p thấp hơn không có nhiều bằng chứng chống lại null? Luận cứ từ Johansson 2011

Johansson (2011) trong " Hail the could: p-value, bằng chứng và khả năng " (ở đây cũng liên kết với tạp chí ) nói rằng giá trị thấp hơn thường được coi là bằng chứng mạnh mẽ hơn chống lại null. Johansson ngụ ý rằng mọi người sẽ coi bằng chứng chống lại null là mạnh hơn nếu thử nghiệm thống kê của họ vượt qua giá trị là , so với khi thử nghiệm thống kê của họ vượt qua giá trị là . Johansson liệt kê bốn lý do tại sao giá trị không thể được sử dụng làm bằng chứng chống lại null:$p$$p$$0.01$$p$$0.45$$p$

1. $p$ được phân phối đồng đều theo giả thuyết null và do đó không bao giờ có thể chỉ ra bằng chứng cho null.
2. $p$ chỉ dựa vào giả thuyết khống và do đó không được sử dụng để định lượng bằng chứng, bởi vì bằng chứng luôn luôn tương đối theo nghĩa là bằng chứng cho hoặc chống lại một giả thuyết liên quan đến giả thuyết khác.
3. $p$ chỉ định xác suất thu được bằng chứng (được đưa ra là null), thay vì sức mạnh của bằng chứng.
4. $p$ phụ thuộc vào dữ liệu không được quan sát và ý định chủ quan và do đó ngụ ý, theo cách giải thích bằng chứng, rằng sức mạnh chứng minh của dữ liệu quan sát phụ thuộc vào những điều không xảy ra và ý định chủ quan.

Thật không may, tôi không thể có được sự hiểu biết trực quan từ bài viết của Johansson. Đối với tôi, giá trị là cho thấy ít có khả năng giá trị null là đúng, hơn giá trị là . Tại sao giá trị thấp hơn không phải là bằng chứng mạnh mẽ hơn chống lại null? $p$$0.01$$p$$0.45$$p$

Đánh giá cá nhân của tôi về lập luận của mình:

1. Ở đây, ông nói về việc sử dụng làm bằng chứng cho Null, trong khi luận điểm của ông là không thể được sử dụng làm bằng chứng chống lại Null. Vì vậy, tôi nghĩ rằng lập luận này phần lớn không liên quan.$p$$p$
2. Tôi nghĩ rằng đây là một sự hiểu lầm. Thử nghiệm ngư dân tuân theo mạnh mẽ ý tưởng về Chủ nghĩa duy lý quan trọng của Popper nói rằng bạn không thể ủng hộ một lý thuyết mà chỉ phê phán nó. Vì vậy, theo nghĩa đó, chỉ có một giả thuyết duy nhất (Null) và bạn chỉ cần kiểm tra xem dữ liệu của bạn có phù hợp với nó không.$p$
3. Tôi không đồng ý ở đây. Nó phụ thuộc vào thống kê kiểm tra nhưng thường là một phép biến đổi kích thước hiệu ứng nói lên Null. Vì vậy, hiệu ứng càng cao, giá trị p càng thấp --- tất cả những thứ khác bằng nhau. Tất nhiên, đối với các tập dữ liệu hoặc giả thuyết khác nhau, điều này không còn hợp lệ. $p$
4. Tôi không chắc chắn tôi hoàn toàn hiểu câu nói này, nhưng từ những gì tôi có thể thu thập được thì đây không phải là vấn đề của vì mọi người sử dụng nó sai. được dự định để có sự diễn giải tần số dài hạn và đó là một tính năng không phải là một lỗi. Nhưng bạn không thể đổ lỗi cho khi mọi người lấy một giá trị làm bằng chứng cho giả thuyết của họ hoặc những người chỉ xuất bản . $p$$p$$p$$p$$p<.05$

Theo tôi, gợi ý của ông về việc sử dụng tỷ lệ khả năng làm thước đo bằng chứng là một ý kiến ​​tốt (nhưng ở đây ý tưởng về yếu tố Bayes mang tính tổng quát hơn), nhưng trong bối cảnh mà ông mang đến thì hơi kỳ dị: Đầu tiên ông rời đi căn cứ của thử nghiệm Ngư dân nơi không có giả thuyết thay thế để tính tỷ lệ khả năng từ đó. Nhưng là bằng chứng chống lại Null là Ngư dân. Do đó, anh ta nhầm lẫn Fisher và Neyman-Pearson. Thứ hai, hầu hết các thống kê kiểm tra mà chúng tôi sử dụng là (các hàm của) tỷ lệ khả năng và trong trường hợp đó là một biến đổi của tỷ lệ khả năng. Như Cosma Shalizi nói:$p$$p$

trong số tất cả các thử nghiệm có kích thước cho trước, thử nghiệm có xác suất sai nhỏ nhất hoặc công suất cao nhất có dạng "say 'signal" nếu , nếu không nói là "nhiễu" , "Và ngưỡng thay đổi ngược với . Số lượng là tỷ lệ khả năng; Bổ đề Neyman-Pearson nói rằng để tối đa hóa sức mạnh, chúng ta nên nói "tín hiệu" nếu nó đủ khả năng hơn tiếng ồn.$s$$q(x)/p(x) > t(s)$$t$$s$$q(x)/p(x)$

Ở đây là mật độ dưới trạng thái "tín hiệu" và mật độ dưới trạng thái "nhiễu". Thước đo cho "đủ khả năng" ở đây sẽ là là . Lưu ý rằng trong thử nghiệm Neyman-Pearson chính xác, được thay thế bằng một cố định sao cho . $q(x)$$p(x)$$P(q(X)/p(x) > t_{obs} \mid H_0)$$p$$t_{obs}$$t(s)$$P(q(X)/p(x) > t(s) \mid H_0)=\alpha$

Lý do mà các lập luận như của Johansson được tái chế thường dường như có liên quan đến thực tế là giá trị P là chỉ số của bằng chứng chống lại null nhưng không phải là biện pháp của bằng chứng. Bằng chứng có nhiều chiều hơn bất kỳ số nào có thể đo được, và do đó, luôn có các khía cạnh của mối quan hệ giữa giá trị P và bằng chứng mà mọi người có thể thấy khó khăn.

Tôi đã xem xét nhiều lập luận được Johansson sử dụng trong một bài báo cho thấy mối quan hệ giữa các giá trị P và các hàm khả năng, và do đó bằng chứng: http://arxiv.org/abs/1311.0081 Thật không may là bài báo đó đã bị từ chối ba lần, mặc dù lập luận của nó và bằng chứng cho chúng chưa được bác bỏ. (Có vẻ như thật khó chịu với các trọng tài nắm giữ ý kiến ​​như của Johansson chứ không phải sai.)

Thêm vào câu trả lời hay của @ Momo:

Đừng quên bội số. Với nhiều giá trị p độc lập và kích thước hiệu ứng không tầm thường thưa thớt, các giá trị p nhỏ nhất là từ null, với xác suất có xu hướng là khi số lượng giả thuyết tăng lên. Vì vậy, nếu bạn nói với tôi rằng bạn có một giá trị p nhỏ, điều đầu tiên tôi muốn biết là có bao nhiêu giả thuyết bạn đã thử nghiệm.$1$

Có phải Johansson đang nói về giá trị p từ hai thí nghiệm khác nhau? Nếu vậy, so sánh giá trị p có thể giống như so sánh táo với sườn cừu. Nếu thí nghiệm "A" liên quan đến một số lượng lớn các mẫu, thì ngay cả một sự khác biệt nhỏ không đáng kể cũng có thể có ý nghĩa thống kê. Nếu thí nghiệm "B" chỉ liên quan đến một vài mẫu, một sự khác biệt quan trọng có thể không có ý nghĩa thống kê. Thậm chí tệ hơn (đó là lý do tại sao tôi nói sườn cừu chứ không phải cam), vảy có thể hoàn toàn không thể so sánh được (psi ở một và kwh ở bên kia).