Hiểu lầm về giá trị P?

Vì vậy, tôi đã đọc rất nhiều về cách giải thích chính xác giá trị P và từ những gì tôi đã đọc, giá trị p nói KHÔNG CÓ về xác suất giả thuyết null là đúng hay sai. Tuy nhiên, khi đọc các tuyên bố sau:

Giá trị p đại diện cho xác suất tạo ra lỗi loại I hoặc từ chối giả thuyết null khi nó đúng. Giá trị p càng nhỏ thì xác suất bạn sẽ từ chối sai giả thuyết null càng nhỏ.

EDIT: Và sau đó 5 phút tôi đọc:

Giải thích không chính xác các giá trị P là rất phổ biến. Lỗi phổ biến nhất là diễn giải giá trị P là xác suất mắc lỗi bằng cách từ chối một giả thuyết null thực sự (lỗi Loại I).

Điều này làm tôi bối rối. Điều nào là đúng? Và bất cứ ai cũng có thể giải thích làm thế nào để giải thích chính xác giá trị p và làm thế nào nó liên quan chính xác đến xác suất gây ra lỗi loại I?

Vì ý kiến ​​của bạn, tôi sẽ làm hai phần riêng biệt:

giá trị p

Trong thử nghiệm giả thuyết thống kê, bạn có thể tìm thấy 'bằng chứng thống kê' cho giả thuyết thay thế ; Như tôi đã giải thích trong Điều gì sau đây nếu chúng ta không từ chối giả thuyết khống? , nó tương tự như 'bằng chứng bởi mâu thuẫn' trong toán học.

Vì vậy, nếu chúng ta muốn tìm "bằng chứng thống kê" thì chúng ta giả sử ngược lại, chúng ta biểu thị về những gì chúng ta cố gắng chứng minh mà chúng ta gọi là H 1 . Sau này, chúng tôi vẽ một mẫu và từ mẫu, chúng tôi tính toán cái gọi là thống kê kiểm tra (ví dụ: giá trị t trong kiểm tra t).$H_0$$H_1$

Sau đó, khi chúng tôi giả sử rằng là đúng và mẫu của chúng tôi được rút ngẫu nhiên từ phân phối theo H 0 , chúng tôi có thể tính xác suất quan sát các giá trị vượt quá hoặc bằng giá trị thu được từ mẫu (ngẫu nhiên) của chúng tôi. Xác suất này được gọi là giá trị p.$H_0$$H_0$

Nếu giá trị này là '' đủ nhỏ '', tức là nhỏ hơn mức ý nghĩa mà chúng tôi đã chọn, thì chúng tôi từ chối và chúng tôi coi H 1 là 'được chứng minh thống kê'.$H_0$$H_1$

Một số điều quan trọng trong cách làm này:

• chúng tôi đã đưa ra xác suất theo giả định rằng là đúng$H_0$
• chúng tôi đã lấy một mẫu ngẫu nhiên từ sự nghi ngờ được giả định theo $H_0$
• chúng tôi quyết định đã tìm thấy bằng chứng cho nếu thống kê kiểm tra xuất phát từ mẫu ngẫu nhiên có xác suất vượt quá thấp. Vì vậy, không thể vượt quá trong khi H 0 là đúng và trong những trường hợp này, chúng tôi tạo ra lỗi loại I. $H_1$$H_0$

Vậy lỗi loại I là gì: một lỗi loại I được tạo ra khi mẫu, được rút ngẫu nhiên từ , dẫn đến kết luận rằng H 0 là sai trong khi thực tế nó là đúng.$H_0$$H_0$

Lưu ý rằng điều này có nghĩa rằng một giá trị p không phải là xác suất của một lỗi loại I . Thật vậy, lỗi loại I là một quyết định sai trong thử nghiệm và quyết định chỉ có thể được đưa ra bằng cách so sánh giá trị p với mức ý nghĩa được chọn, với một giá trị p, người ta không thể đưa ra quyết định, chỉ sau khi so sánh giá trị p đến mức ý nghĩa được lựa chọn mà quyết định được đưa ra và miễn là không có quyết định nào được đưa ra, lỗi loại I thậm chí không được xác định.

Giá trị p là gì? Sự từ chối có khả năng sai của là do chúng ta vẽ một mẫu ngẫu nhiên theo$H_0$ , do đó có thể chúng ta đã '' xui xẻo '' bằng cách vẽ mẫu và điều này '' xui xẻo '' từ chối sai H 0 . Vì vậy, giá trị p (mặc dù điều này không hoàn toàn chính xác) giống như xác suất vẽ một 'mẫu xấu' '. Giải thích chính xác về giá trị p là xác suất thống kê kiểm tra vượt quá hoặc bằng giá trị của thống kê kiểm tra xuất phát từ một mẫu được rút ngẫu nhiên theo H 0$H_0$$H_0$$H_0$

Tỷ lệ phát hiện sai (FDR)

Như đã giải thích ở trên, mỗi lần giả thuyết khống bị bác bỏ, người ta coi đây là 'bằng chứng thống kê' cho $H_1$ . Vì vậy, chúng tôi đã tìm thấy kiến ​​thức khoa học mới, do đó nó được gọi là một khám phá . Cũng được giải thích ở trên là chúng ta có thể thực hiện các khám phá sai (tức là từ chối sai ) khi chúng ta mắc lỗi loại I. Trong trường hợp đó, chúng ta có một niềm tin sai lầm về một sự thật khoa học. Chúng tôi chỉ muốn khám phá những điều thực sự đúng và do đó, người ta cố gắng giữ những khám phá sai lầm ở mức tối thiểu, tức là người ta sẽ kiểm soát lỗi loại I. Không quá khó để thấy rằng xác suất của lỗi loại I là mức ý nghĩa được chọn α . Vì vậy, để kiểm soát lỗi loại I, người ta sửa lỗi $H_0$$\alpha$$\alpha$-level phản ánh sự sẵn sàng của bạn để chấp nhận '' bằng chứng sai lệch ''.

Bằng trực giác, phương tiện này rằng nếu chúng ta rút ra một số lượng lớn các mẫu, và với mỗi mẫu chúng tôi thực hiện việc kiểm tra, sau đó một phần nhỏ của những thử nghiệm này sẽ dẫn đến một kết luận sai. Điều quan trọng cần lưu ý là chúng tôi 'trung bình trên nhiều mẫu' ; Thử nghiệm giống nhau, nhiều mẫu. $\alpha$

Nếu chúng tôi sử dụng cùng một mẫu để thực hiện nhiều thử nghiệm khác nhau thì chúng tôi sẽ có nhiều lỗi thử nghiệm (xem phần trả lời của tôi về ranh giới lỗi Gia đình khôn ngoan: Việc sử dụng lại bộ dữ liệu trong các nghiên cứu khác nhau về các câu hỏi độc lập có dẫn đến nhiều vấn đề thử nghiệm không? ). Trong trường hợp đó, người ta có thể kiểm soát lạm phát bằng cách sử dụng các kỹ thuật để kiểm soát tỷ lệ lỗi thông minh của gia đình (FWER) , ví dụ như điều chỉnh Bonferroni.$\alpha$

Một cách tiếp cận khác với FWER là kiểm soát tỷ lệ phát hiện sai (FDR) . Trong trường hợp đó, người ta kiểm soát số lượng khám phá sai (FD) trong số tất cả các khám phá (D), do đó, một điều khiển $\frac{FD}{D}$ , D là số lượng bị từ chối .$H_0$

Vì vậy, xác suất lỗi loại I phải thực hiện với việc thực hiện cùng một thử nghiệm trên nhiều mẫu khác nhau. Đối với một số lượng lớn các mẫu, xác suất lỗi loại I sẽ hội tụ đến số lượng mẫu dẫn đến từ chối sai chia cho tổng số mẫu được rút ra .

Các FDR đã làm với nhiều thử nghiệm trên cùng một mẫu và cho một số lượng lớn các bài kiểm tra nó sẽ hội tụ về số lượng kiểm tra nơi một lỗi loại I được thực hiện (tức là số lượng phát hiện sai) chia cho tổng số từ chối của (tức là tổng số khám phá)$H_0$ .

Lưu ý rằng, so sánh hai đoạn văn trên:

1. Bối cảnh là khác nhau; một thử nghiệm và nhiều mẫu so với nhiều thử nghiệm và một mẫu.
2. Mẫu số để tính toán xác suất lỗi loại I rõ ràng khác với mẫu số cho tính toán FDR. Các tử số tương tự theo một cách, nhưng có một bối cảnh khác nhau.

FDR cho bạn biết rằng, nếu bạn thực hiện nhiều thử nghiệm trên cùng một mẫu và bạn tìm thấy 1000 khám phá (tức là từ chối ) thì với FDR là 0,38, bạn sẽ có 0,38 $H_0$ phát hiện sai.$0.38 \times 1000$

Tuyên bố đầu tiên không hoàn toàn đúng.

Từ một bài báo tiện lợi về sự hiểu lầm về ý nghĩa: ( http://myweb.brooklyn.liu.edu/cortiz/PDF%20Files/Misinterpretations%20of%20Significance.pdf )

"[Tuyên bố này] có thể trông giống với định nghĩa về lỗi Loại I (nghĩa là xác suất từ ​​chối H0 mặc dù thực tế là đúng), nhưng thực tế đã từ chối H0, quyết định này sẽ sai nếu và chỉ khi H0 là đúng. Do đó, xác suất "rằng bạn đang đưa ra quyết định sai là L (H0) và xác suất này ... không thể được xác định bằng thử nghiệm ý nghĩa giả thuyết null. "

Đơn giản hơn, để đánh giá xác suất bạn đã từ chối H0 không chính xác, bạn yêu cầu xác suất H0 là đúng mà bạn đơn giản không thể có được bằng cách sử dụng thử nghiệm này.

Việc giải thích chính xác giá trị p là xác suất có điều kiện của một kết quả ít nhất là dẫn đến giả thuyết thay thế là giá trị quan sát được (ít nhất là "cực trị"), giả sử giả thuyết null là đúng . Giải thích không chính xác thường liên quan đến xác suất cận biên hoặc chuyển đổi điều kiện:

Giá trị p cho phép chúng ta xác định liệu giả thuyết null (hay giả thuyết được tuyên bố) có thể bị bác bỏ hay không. Nếu giá trị p nhỏ hơn mức ý nghĩa, thì điều này thể hiện kết quả có ý nghĩa thống kê và giả thuyết null nên bị bác bỏ. Nếu giá trị p lớn hơn mức ý nghĩa, thì có thể loại bỏ giả thuyết null. Đây là toàn bộ lý do tra cứu giá trị p nếu bạn đang sử dụng bảng hoặc sử dụng máy tính trực tuyến, chẳng hạn như máy tính này, máy tính giá trị p , để tìm giá trị p từ thống kê kiểm tra.

Bây giờ tôi biết rằng bạn đã đề cập đến lỗi loại I và loại II. Điều này thực sự không có gì để làm với giá trị p. Điều này phải làm với dữ liệu gốc, chẳng hạn như cỡ mẫu được sử dụng và các giá trị thu được cho dữ liệu. Nếu kích thước mẫu quá nhỏ, chẳng hạn, điều này có thể dẫn đến lỗi loại I.