Là giá trị p cũng là tỷ lệ phát hiện sai?

Trong http://surveyanalysis.org/wiki/Mult Môn_Comparisons_(Post_Hoc_Testing), nó nêu rõ

Ví dụ: nếu chúng ta có giá trị p là 0,05 và chúng tôi kết luận rằng điều quan trọng là xác suất phát hiện sai là, theo định nghĩa, 0,05.

Câu hỏi của tôi: Tôi luôn nghĩ phát hiện sai là lỗi Loại I, bằng với mức ý nghĩa được chọn trong hầu hết các thử nghiệm. Giá trị P là giá trị được tính từ mẫu. Thật vậy, Wikipedia tuyên bố

Không nên nhầm lẫn giá trị p với mức ý nghĩa trong cách tiếp cận Neyman bồi Pearson hoặc tỷ lệ lỗi Loại I [tỷ lệ dương tính giả] " $\alpha$

Vậy tại sao bài viết được liên kết cho rằng tỷ lệ lỗi Loại I được đưa ra bởi giá trị p?

— Chào thế giới
nguồn

Fisher giá trị và tỷ lệ loại I lỗi không phù hợp theo quy định của giấy tờ sau đây: Hubbard, Bayarri (2012): Lẫn lộn qua các biện pháp của bằng chứng ( 's) so với các lỗi ( ' s) trong thử nghiệm thống kê cổ điển . Ngoài ra, hãy xem bài viết này ở đây trên trang web.

p

$p$

α

$\alpha$

p

$p$

α

$\alpha$

— COOLSerdash

@COOL Đó là một bài báo gây tranh cãi khủng khiếp để trích dẫn. Chỉ cần nhìn vào phần bắt đầu của cuộc thảo luận sau trang cuối cùng. Dường như đối với tôi, các tác giả - cố ý hay vô thức - đã giải thích sai nhiều nhà thống kê mà họ coi thường vì quá thờ ơ và sai lầm.

— whuber

@whuber Đây cũng là ấn tượng của tôi khi đọc bài báo. Bạn có biết một bài báo, cuốn sách hoặc bài đăng cung cấp một cách đối xử lành tính hơn về chủ đề này?

— COOLSerdash

@COOL Có rất nhiều tôi thậm chí không thể theo dõi chúng nữa.

— whuber

Các bài viết được liên kết trên Surveyanalysis.org là rác, và trích dẫn là sai.

— amip

Câu trả lời:

Tỷ lệ phát hiện sai của bạn không chỉ phụ thuộc vào ngưỡng giá trị p, mà còn phụ thuộc vào sự thật. Trong thực tế, nếu giả thuyết khống của bạn trong thực tế sai thì bạn không thể thực hiện một khám phá sai.

Có lẽ thật hữu ích khi nghĩ về nó như thế: ngưỡng giá trị p là xác suất tạo ra những khám phá sai lầm khi không có khám phá thực sự nào được thực hiện (hoặc đặt nó khác đi, nếu giả thuyết null là đúng).

Về cơ bản,

Tỷ lệ lỗi loại 1 = "Xác suất từ chối null nếu đúng" = ngưỡng giá trị p

và

Tỷ lệ lỗi loại 1 = Tỷ lệ phát hiện sai NẾU giả thuyết khống là đúng

là chính xác, nhưng lưu ý các điều kiện trên null thực sự. Tỷ lệ phát hiện sai không có điều kiện này và do đó phụ thuộc vào sự thật chưa biết có bao nhiêu giả thuyết null của bạn có thực sự đúng hay không.

Cũng đáng để xem xét rằng khi bạn kiểm soát tỷ lệ phát hiện sai bằng cách sử dụng quy trình như Stewamini-Hochberg, bạn không bao giờ có thể ước tính tỷ lệ phát hiện sai thực sự, thay vào đó bạn kiểm soát tỷ lệ giới hạn trên. Để làm được nhiều hơn, bạn thực sự cần phải có khả năng phát hiện ra giả thuyết null là đúng khi sử dụng số liệu thống kê, khi bạn chỉ có thể phát hiện vi phạm ở một mức độ nhất định (tùy thuộc vào sức mạnh của bài kiểm tra của bạn).

— Erik
nguồn

"Một phát hiện sai, lỗi Loại I và dương tính giả đều tương đương nhau. Trong khi đó tỷ lệ dương tính giả và tỷ lệ lỗi Loại I là bằng nhau, tỷ lệ phát hiện sai là một đại lượng hoàn toàn khác nhau." Một định nghĩa về FDR có thể được tìm thấy ở đây .

— Randel

Chắc chắn khi giả thuyết null là đúng (hoặc tất cả các giả thuyết null đều đúng), FDR theo định nghĩa 100% (100% tất cả các giả thuyết null bị từ chối đều bị từ chối sai).

— Bjorn

m

$m$

0.05 m

$0.05m$

Sự khác biệt giữa giá trị P và tỷ lệ dương tính giả (hoặc tỷ lệ phát hiện sai) được giải thích, rõ ràng tôi hy vọng, trong http://rsos.royalsocietypublishing.org/content/1/3/140216

Mặc dù bài báo đó sử dụng thuật ngữ Tỷ lệ khám phá sai, nhưng hiện tại tôi thích Tỷ lệ dương tính giả, vì sử dụng thuật ngữ trước đây thường được sử dụng trong bối cảnh sửa chữa cho nhiều so sánh. Đó là một vấn đề khác. Bài viết chỉ ra rằng đối với một thử nghiệm không thiên vị, tỷ lệ dương tính giả là một thỏa thuận tốt cao hơn giá trị P trong hầu hết mọi trường hợp.

Ngoài ra còn có một mô tả định tính về logic cơ bản tại https://aeon.co/essays/it-s-time-for-science-to-abandon-the-term-statistively-significant

— David Colquhoun
nguồn