Là giá trị p nhỏ hơn thuyết phục hơn?

Tôi đã đọc các giá trị , tỷ lệ lỗi loại 1, mức ý nghĩa, tính toán công suất, kích thước hiệu ứng và cuộc tranh luận giữa Fisher và Neyman-Pearson. Điều này đã khiến tôi cảm thấy một chút choáng ngợp. Tôi xin lỗi về bức tường văn bản, nhưng tôi cảm thấy cần phải cung cấp một cái nhìn tổng quan về sự hiểu biết hiện tại của tôi về các khái niệm này, trước khi tôi chuyển sang các câu hỏi thực tế của mình.$p$

Từ những gì tôi đã thu thập được, giá trị chỉ đơn giản là thước đo của sự bất ngờ, xác suất đạt được kết quả ít nhất là cực đoan, cho rằng giả thuyết null là đúng. Fisher ban đầu dự định cho nó là một biện pháp liên tục.$p$

Trong khung Neyman-Pearson, bạn chọn trước một mức ý nghĩa và sử dụng mức này làm điểm cắt (tùy ý). Mức ý nghĩa bằng tỷ lệ lỗi loại 1. Nó được xác định bởi tần số chạy dài, tức là nếu bạn lặp lại một thử nghiệm 1000 lần và giả thuyết khống là đúng, khoảng 50 trong số các thử nghiệm đó sẽ dẫn đến một hiệu ứng đáng kể , do tính biến thiên của mẫu. Bằng cách chọn một mức ý nghĩa, chúng tôi đang tự bảo vệ mình trước những tích cực sai lầm này với một xác suất nhất định. -values ​​theo truyền thống không xuất hiện trong khung này.$P$

Nếu chúng ta tìm thấy giá trị là 0,01 thì điều này không có nghĩa là tỷ lệ lỗi loại 1 là 0,01, lỗi loại 1 được nêu là tiên nghiệm. Tôi tin rằng đây là một trong những tranh luận chính trong cuộc tranh luận giữa Fisher và NP, bởi vì giá trị thường được báo cáo là 0,05 *, 0,01 **, 0,001 ***. Điều này có thể khiến mọi người hiểu lầm rằng hiệu ứng này rất có ý nghĩa ở một giá trị nhất định , thay vì ở một giá trị quan trọng nhất định.$p$$p$$p$

Tôi cũng nhận ra rằng giá trị là một hàm của cỡ mẫu. Do đó, nó không thể được sử dụng như một phép đo tuyệt đối. Một giá trị nhỏ có thể chỉ ra một hiệu ứng nhỏ, không liên quan trong một thí nghiệm mẫu lớn. Để chống lại điều này, điều quan trọng là phải thực hiện tính toán kích thước công suất / hiệu ứng khi xác định kích thước mẫu cho thử nghiệm của bạn. cho chúng ta biết liệu có ảnh hưởng hay không, nó lớn đến mức nào. Xem Sullivan 2012 .$p$$p$$P$

Câu hỏi của tôi: Làm thế nào tôi có thể điều hòa sự thật rằng giá trị là thước đo của sự bất ngờ (nhỏ hơn = thuyết phục hơn) trong khi đồng thời nó không thể được xem là một phép đo tuyệt đối?$p$

Điều tôi bối rối là, như sau: chúng ta có thể tự tin hơn vào một giá trị nhỏ hơn một giá trị lớn không? Theo nghĩa của Ngư dân, tôi sẽ nói có, chúng tôi ngạc nhiên hơn. Trong khung NP, việc chọn mức ý nghĩa nhỏ hơn có nghĩa là chúng ta đang tự bảo vệ mình mạnh mẽ hơn trước những kết quả sai.$p$

Nhưng mặt khác, giá trị phụ thuộc vào kích thước mẫu. Họ không phải là một biện pháp tuyệt đối. Do đó, chúng ta không thể đơn giản nói 0,001593 có ý nghĩa hơn 0,0439. Tuy nhiên, đây là những gì sẽ được ngụ ý trong khuôn khổ của Fisher: chúng ta sẽ ngạc nhiên hơn với một giá trị cực đoan như vậy. Thậm chí còn có cuộc thảo luận về thuật ngữ rất có ý nghĩa là một cách hiểu sai: Có sai không khi coi kết quả là "rất có ý nghĩa"?$p$

Tôi đã nghe nói rằng giá trị trong một số lĩnh vực khoa học chỉ được coi là quan trọng khi chúng nhỏ hơn 0,0001, trong khi ở các lĩnh vực khác, giá trị khoảng 0,01 đã được coi là rất có ý nghĩa.$p$

Câu hỏi liên quan:

• Có phải sự "lai" giữa cách tiếp cận của Fisher và Neyman-Pearson đối với kiểm tra thống kê có thực sự là một "mớ hỗn độn" không?

• Khi nào nên sử dụng khung của Fisher và Neyman-Pearson?

• Giá trị chính xác của 'giá trị p' là vô nghĩa?

• Thuộc tính thường xuyên của giá trị p liên quan đến lỗi loại I

• Khoảng tin cậy so với giá trị P cho hai phương tiện

• Tại sao giá trị p thấp hơn không có nhiều bằng chứng chống lại null? Lập luận từ Johansson 2011 (do @amoeba cung cấp)

Giá trị nhỏ hơn có "thuyết phục" hơn không? Vâng, tất nhiên họ là.$p$

Trong khuôn khổ Fisher, -value là một lượng hóa lượng bằng chứng chống lại giả thuyết khống. Bằng chứng có thể ít nhiều thuyết phục; giá trị p càng nhỏ thì càng thuyết phục. Lưu ý rằng trong bất kỳ thử nghiệm đã cho nào với kích thước mẫu cố định n , giá trị p có liên quan đơn điệu đến kích thước hiệu ứng, vì @Scortchi chỉ ra một cách độc đáo trong câu trả lời của anh ấy (+1). Vì vậy, giá trị p nhỏ hơn tương ứng với kích thước hiệu ứng lớn hơn; tất nhiên họ có sức thuyết phục hơn!$p$$p$$n$$p$$p$

Trong khuôn khổ Neyman-Pearson, mục tiêu là có được quyết định nhị phân: bằng chứng là "có ý nghĩa" hoặc không. Bằng cách lựa chọn ngưỡng , chúng tôi đảm bảo rằng chúng tôi sẽ không có nhiều hơn α dương tính giả. Lưu ý rằng những người khác nhau có thể có khác nhau α trong tâm trí khi nhìn vào cùng một dữ liệu; có lẽ khi tôi đọc một bài báo từ một lĩnh vực mà tôi nghi ngờ, tôi sẽ không xem xét cá nhân là kết quả "có ý nghĩa" với ví dụ p = 0,03 mặc dù các tác giả gọi chúng là quan trọng. Cá nhân của tôi α có thể được thiết lập để 0,001 hoặc một cái gì đó. Rõ ràng là p báo cáo càng thấp$\alpha$$\alpha$$\alpha$$p=0.03$$\alpha$$0.001$$p$-giá trị, độc giả càng hoài nghi nó sẽ có thể thuyết phục! Do đó, một lần nữa, giá trị thấp hơn có sức thuyết phục hơn.$p$

Thực tiễn tiêu chuẩn hiện nay là kết hợp các cách tiếp cận của Fisher và Neyman-Pearson: nếu , thì kết quả được gọi là "đáng kể" và giá trị p được [chính xác hoặc xấp xỉ] được báo cáo và sử dụng như một thước đo về tính thuyết phục (bằng cách đánh dấu nó với các ngôi sao, sử dụng các biểu thức là "rất có ý nghĩa", v.v.); nếu p > α , thì kết quả được gọi là "không đáng kể" và đó là kết quả.$p<\alpha$$p$$p>\alpha$

Điều này thường được gọi là một "phương pháp lai", và thực sự nó là lai. Một số người cho rằng sự lai tạo này là không mạch lạc; Tôi có xu hướng không đồng ý. Tại sao nó không hợp lệ để làm hai việc hợp lệ cùng một lúc?

Đọc thêm:

• Có phải sự "lai" giữa cách tiếp cận của Fisher và Neyman-Pearson đối với kiểm tra thống kê có thực sự là một "mớ hỗn độn" không? - câu hỏi của tôi về "lai". Nó tạo ra một số cuộc thảo luận, nhưng tôi vẫn không hài lòng với bất kỳ câu trả lời nào, và dự định sẽ quay lại chủ đề đó vào một lúc nào đó.

• Có sai không khi coi kết quả là "rất có ý nghĩa"? - xem câu trả lời của tôi ngày hôm qua, về cơ bản là nói: nó không sai (nhưng có lẽ hơi cẩu thả).

• $p$

Tôi không biết ý nghĩa của các giá trị p nhỏ hơn là "tốt hơn" hay chúng ta "tin tưởng hơn" vào chúng. Nhưng liên quan đến giá trị p như là thước đo mức độ ngạc nhiên của dữ liệu, nếu chúng ta tin rằng giả thuyết null, có vẻ đủ hợp lý; giá trị p là một hàm đơn điệu của thống kê kiểm tra bạn đã chọnđể đo lường sự khác biệt với giả thuyết khống theo hướng bạn quan tâm, hiệu chỉnh nó theo các đặc tính của nó theo một quy trình lấy mẫu có liên quan từ dân số hoặc chỉ định ngẫu nhiên các phương pháp điều trị thử nghiệm. "Ý nghĩa" đã trở thành một thuật ngữ kỹ thuật để chỉ các giá trị p 'ở trên hoặc dưới một số giá trị được chỉ định; do đó, ngay cả những người không quan tâm đến việc chỉ định các mức ý nghĩa và chấp nhận hoặc bác bỏ các giả thuyết có xu hướng tránh các cụm từ như tuân thủ quy ước "có ý nghĩa cao".

Liên quan đến sự phụ thuộc của giá trị p vào kích thước mẫu và kích thước hiệu ứng, có lẽ một số nhầm lẫn xuất hiện bởi vì có vẻ như 474 đầu trong số 1000 lần tung nên ít gây ngạc nhiên hơn 2 trên 10 đối với ai đó nghĩ rằng đồng xu là công bằng tỷ lệ mẫu chỉ chênh lệch một chút so với 50% trong trường hợp trước đây, tuy nhiên các giá trị p là như nhau. Nhưng đúng hay sai không thừa nhận bằng cấp; giá trị p đang làm những gì được hỏi về nó: thường là khoảng tin cậy cho một tham số thực sự là những gì muốn đánh giá mức độ chính xác của hiệu ứng được đo, và tầm quan trọng thực tế hoặc lý thuyết của cường độ ước tính của nó.

Cảm ơn bạn đã bình luận và đề nghị đọc. Tôi đã có thêm thời gian để suy ngẫm về vấn đề này và tôi tin rằng tôi đã xoay sở để cô lập các nguồn gây nhầm lẫn chính của mình.

• Ban đầu tôi nghĩ có một sự phân đôi giữa việc xem giá trị p là thước đo của sự ngạc nhiên so với việc nói rằng đó không phải là một biện pháp tuyệt đối. Bây giờ tôi nhận ra những tuyên bố này không nhất thiết mâu thuẫn với nhau. Cái trước cho phép chúng ta ít nhiều tin tưởng vào sự cực đoan (thậm chí không giống nhau?) Của một hiệu ứng quan sát được, so với các kết quả giả thuyết khác của cùng một thí nghiệm. Trong khi điều sau chỉ cho chúng ta biết rằng giá trị p có thể được coi là có giá trị thuyết phục trong một thử nghiệm, có thể không ấn tượng chút nào trong một thử nghiệm khác, ví dụ: nếu kích thước mẫu khác nhau.

• Việc một số lĩnh vực khoa học sử dụng một đường cơ sở khác nhau của các giá trị p mạnh, có thể là sự phản ánh sự khác biệt về kích thước mẫu chung (thiên văn học, lâm sàng, thí nghiệm tâm lý) và / hoặc cố gắng truyền đạt kích thước hiệu ứng trong p- giá trị. Nhưng sau này là một sự kết hợp không chính xác của hai.

• Ý nghĩa là câu hỏi có / không dựa trên alpha được chọn trước khi thử nghiệm. Do đó, giá trị p có thể không đáng kể hơn giá trị khác, vì chúng nhỏ hơn hoặc lớn hơn mức ý nghĩa đã chọn. Mặt khác, giá trị p nhỏ hơn sẽ thuyết phục hơn so với giá trị lớn hơn (đối với một thử nghiệm mẫu tương tự / thí nghiệm giống hệt nhau, như đã đề cập ở điểm đầu tiên của tôi).

• Khoảng tin cậy vốn đã truyền đạt kích thước hiệu ứng, làm cho chúng trở thành một lựa chọn tốt để bảo vệ chống lại các vấn đề được đề cập ở trên.

Giá trị p không thể là thước đo bất ngờ vì nó chỉ là thước đo xác suất khi null là đúng. Nếu null là đúng thì mỗi giá trị có thể có của p đều có khả năng như nhau. Người ta không thể ngạc nhiên với bất kỳ giá trị p nào trước khi quyết định từ chối null. Khi một người quyết định có hiệu ứng thì ý nghĩa của giá trị p sẽ biến mất. Người ta chỉ báo cáo nó như là một liên kết trong một chuỗi quy nạp tương đối yếu để biện minh cho sự từ chối, hoặc không, của null. Nhưng nếu nó bị từ chối thì nó thực sự không còn ý nghĩa gì nữa.