Khoảng tin cậy của giá trị p là gì?

Giá trị được sử dụng để báo cáo mức độ mạnh mẽ mà chúng ta có thể đoán trước một giả thuyết. Rõ ràng, giá trị này được ước tính từ dữ liệu và nếu dữ liệu mới được thu thập trong cùng điều kiện, giá trị mới sẽ rất khó giống nhau. $p$ $p$ $p$

Halsey, Curran-Everett, Vowler & Drumond (2015) trong một bài bình luận về Phương pháp Tự nhiên cho thấy sự không chắc chắn xung quanh giá trị có thể khá lớn. Trong một câu trả lời, Lazzeroni, Lu & Belitskaya-Lévy (2016, cùng một tạp chí) đã đưa ra một ví dụ về giá trị quan sát là 0,049 có khoảng tin cậy từ 0,00000008 đến 0,99. $p$ $p$

Câu hỏi của tôi là: chúng ta có biết phân phối mẫu của các giá trị không? Theo sau này, nó không phụ thuộc vào kích thước mẫu (và có lẽ là độ lệch chuẩn của mẫu vì tất cả những điều này được sử dụng để "tiêu chuẩn hóa" thống kê kiểm tra). Có lẽ, nó có thể phụ thuộc vào thủ tục kiểm tra? $p$

Tôi biết rằng nếu là đúng, việc phân phối giá trị là thống nhất trong phạm vi 0 đến 1 (nhưng không thể nhớ tôi đã học được điều này ở đâu). Vì ngày càng không đầy đủ, việc phân phối giá trị trở nên cực đại, nghiêng về xác suất 0% (đối với các thử nghiệm ở đuôi trái). $H_0$ $p$ $H_0$ $p$

Nó khá dễ dàng với bootstrap để có được một biểu diễn trực quan về phân phối giá trị . Tuy nhiên, một câu trả lời thỏa mãn hơn sẽ là có một công thức (dạng đóng thậm chí còn tốt hơn) để chúng ta có thể biết chính xác những đặc điểm nào ảnh hưởng đến phân phối đó và từ đó, độ rộng của khoảng tin cậy. $p$

Bạn có biết về một công thức như vậy, hoặc nếu nó thậm chí có thể có một công thức?

— Denis Cousineau
nguồn

Tôi tin rằng những gì bạn muốn sẽ là một khoảng dự đoán cho các giá trị p trong tương lai được xây dựng trong cùng điều kiện với giá trị p ban đầu ? Có lẽ bạn có nghĩa là khoảng tin cậy thay vì khoảng dự đoán, nhưng nói về khoảng tin cậy cho một giá trị quan sát là rất khó hiểu với tôi. Cho dù bạn có nghĩa là dự đoán hoặc khoảng tin cậy, tôi khá chắc chắn rằng bạn muốn xác định rằng khoảng đó đề cập đến giá trị trung bình của các giá trị p trong tương lai từ các nghiên cứu trong tương lai.

— Vách đá AB

@Cliff Nếu bạn chấp nhận rằng có phân phối mẫu của các giá trị p (có vẻ không gây tranh cãi), thì thực tế là giá trị p bị ràng buộc ngụ ý phân phối lấy mẫu này có một kỳ vọng. Rõ ràng sự mong đợi của nó là một tính chất của phân phối cơ bản trong bối cảnh của một mô hình cụ thể và thống kê kiểm tra cụ thể. Do đó, có vẻ như kỳ vọng này có thể được xem một cách hợp lý là một thuộc tính của chính phân phối, cho phép người ta áp dụng tất cả các khái niệm thông thường về ước tính, ước tính và khoảng tin cậy.

— whuber

Halsey et al mà OP đề cập và lý do đằng sau nó được thảo luận rất dài trong chủ đề gần đây này: stats.stackexchange.com/questions/250269 - mà tôi có thể nói thậm chí là một bản sao (@whuber). Kết luận chung của chủ đề đó là Halsey et al (người mượn các yêu cầu của họ từ tác phẩm trước đó của Cumming) là cẩu thả và không nêu các giả định của họ. Tôi không thích giấy của họ.

— amip

@whuber Vâng, tôi đồng ý. Tuy nhiên, OP có thể hữu ích khi đọc những cuộc thảo luận đó.

— amip

@Amoeba Hãy cẩn thận: người ta không xây dựng CI cho một thống kê; một CI đề cập đến một tham số. Trong các tình huống cổ điển (kiểm tra Z, kiểm tra t, v.v.) có sự tương ứng một-một giữa thống kê và giá trị p. Trong phạm vi một thống kê có thể ước tính một cái gì đó (thường là kích thước hiệu ứng), một giá trị p cũng phải ước tính một cái gì đó. Nhưng những gì nó có thể ước tính không liên quan gì đến cách người ta xây dựng một CI. Một ứng cử viên hợp lý cho ước tính của nó là giá trị p dự kiến (đối với một mô hình nhất định, thống kê nhất định và kích thước hiệu ứng đã cho). Khó khăn chính, dường như đối với tôi,

— whuber

Vấn đề là giá trị ap không phải là ước tính của một tham số nên ý tưởng về khoảng tin cậy không được áp dụng. Cũng không có nghĩa gì khi nói về sự không chắc chắn xung quanh giá trị ap. Giá trị p là chắc chắn; kết luận bạn rút ra từ nó là không.

— Ngõ David
nguồn

Bạn dường như đang từ chối các tiền đề của câu hỏi, bao gồm cả quan điểm rằng giá trị p là không chắc chắn. Điều đó sẽ gây tranh cãi, bởi vì nó nổi tiếng - và rõ ràng bằng trực giác - rằng khi một thí nghiệm được lặp lại, một giá trị p khác nhau gần như chắc chắn sẽ phát sinh. Bạn có thể tìm thấy các chủ đề tại stats.stackexchange.com/questions/181611 có liên quan một chút.

— whuber

Xin chào @David, rất vui khi gặp bạn trên StackExchange. Mặc dù tôi đồng ý với bạn rằng nói chung, p không phải là một tham số, tôi chắc chắn chúng ta có thể hình ảnh một thế giới trong đó dân số được đặc trưng bởi một tham số . Trong thế giới này, tất cả các mẫu sẽ có kích thước không đổi và tất cả các phương pháp lấy mẫu cũng sẽ không đổi. Trong thế giới không thể xảy ra này (nếu bạn cho phép chơi chữ), là một tham số và , có lẽ là ước tính tốt nhất, không thiên vị của . Do đó, nếu tôi đóng khung câu hỏi của mình liên quan đến thế giới này, chúng ta có thể có khoảng tin cậy xung quanh một được quan sát không?

π

$\pi$

π

$\pi$

p \equiv \hat{π}

$p \equiv \hat\pi$

π

$\pi$

p

$p$

— Denis Cousineau

Xin chào @Denis. Điều đó làm cho rất nhiều ý nghĩa. Tuy nhiên, tôi nghĩ rằng sự phê phán về thử nghiệm ý nghĩa (những người khác thực hiện) rằng vì giá trị p khác nhau giữa các lần sao chép nên chúng không mang tính thông tin là không chính xác. Tất nhiên các bản sao khác nhau sẽ cung cấp mức độ thuyết phục khác nhau về hướng của hiệu ứng (tôi cho rằng hiệu ứng này gần như không bao giờ bằng 0). Điều đó không ảnh hưởng đến tính thuyết phục của một nghiên cứu nhất định.

— David Lane

Chắc chắn, như @David nói,

p

$p$ là thông tin. Họ chỉ là biến. Nếu chúng ta có thể có được một khoảng tin cậy và thấy rằng toàn bộ khoảng rất hẹp và gần bằng 0, điều đó sẽ tăng thêm sức mạnh cho một kết luận.

— Denis Cousineau

@whuber Tất nhiên giá trị p không chắc chắn trước khi bạn thực hiện thử nghiệm. Tuy nhiên, sự không chắc chắn quan trọng là hướng của hiệu ứng, không phải giá trị p. Giá trị p là một công cụ để hướng dẫn suy luận, không phải là đối tượng của suy luận. Đó là lý do tại sao không có ý nghĩa để nói rằng dữ liệu cung cấp bằng chứng cho một hiệu ứng đáng kể.

— David Lane