Mức độ hiệu chỉnh nhiều thử nghiệm


8

Một chút câu hỏi lạ. Trong lớp sinh học năm thứ tư của tôi ngày hôm nay, chúng tôi đã thảo luận về việc khi nào và khi nào không sử dụng nhiều hiệu chỉnh kiểm tra, và giáo sư đã đưa ra một nhận xét trái chiều. Anh ấy hỏi tại sao chúng tôi không sửa cho mọi thử nghiệm mà chúng tôi từng thực hiện kể từ khi chúng tôi bắt đầu thống kê, vì tất cả chúng đều độc lập (hầu hết) và mỗi lần chúng tôi quan sát thấy kết quả, chúng tôi sẽ tăng xác suất dương tính giả. Anh ta cười phá lên sau đó, nhưng tại sao chúng ta không làm điều này? Tôi không nói rằng chúng ta nên, bởi vì rõ ràng nó là lố bịch, nhưng bao xa là quá xa khi sửa chữa cho các bài kiểm tra?

Chúng tôi sẽ giả sử alpha = 0,05 cho đơn giản và nói rằng mỗi thử nghiệm A, B và C không thuộc bất kỳ loại phụ thuộc nào và do đó độc lập. Nếu tôi ngồi xuống và kiểm tra A, B và C, dù họ là T kiểm tra hay bất cứ điều gì, rõ ràng tôi phải điều chỉnh để điều chỉnh nhiều lần vì tôi lấy 0,95 cho sức mạnh của ba và cơ hội nhận được một tên lửa bầu trời dương tính giả. Tuy nhiên, nếu tôi làm A, B và C vào các ngày khác nhau, trong bối cảnh của các quy trình khác nhau và rút ra kết quả khác nhau từ chúng, thì điều này có gì khác so với tình huống trước đây? Chúng tôi vẫn đang quan sát ba thử nghiệm, chúng vẫn độc lập.

Những gì tôi đang cố gắng đạt được là ranh giới logic nơi chúng tôi nói dừng thực hiện nhiều hiệu chỉnh thử nghiệm. Chúng ta chỉ nên làm điều đó cho một gia đình thử nghiệm, hay chúng ta nên làm điều đó cho cả một bài báo, hay chúng ta nên làm điều đó cho mỗi thử nghiệm mà chúng ta từng chạy? Tôi hiểu cách sử dụng nhiều hiệu chỉnh thử nghiệm và sử dụng FDR / Bonferonni tại nơi làm việc mọi lúc Khái niệm này chỉ là loại đầu của tôi trong vòng tròn.

Cảm ơn bạn đã dành thời gian.

Chỉnh sửa: Có thảo luận mở rộng về vấn đề này trong một câu hỏi gần đây hơn .


xem ý kiến ​​của tôi trong một số liệu thống kê bài đăng khác.stackexchange.com/questions/117735 / trộm
Peter

@Chris C; Tôi nghĩ rằng câu hỏi của bạn có liên quan đến số liệu thống kê.stackexchange.com/questions / 164181 / Giả

Liên quan (gần như trùng lặp): stats.stackexchange.com/questions/206592 .
amip

@amoeba Yea, tôi đã thấy cái đó và tự hỏi điều tương tự; về cơ bản chúng là cùng một câu hỏi. Suy nghĩ bất cứ điều gì nên được thực hiện về nó?
Chris C

Tôi đoán nếu ai đó đã bỏ phiếu để đóng Q khác khi nó xuất hiện thì có thể nó đã bị đóng, nhưng bây giờ tôi nghĩ rằng các câu trả lời đã vượt qua các câu trả lời ở đây. Vì vậy, tôi miễn cưỡng bỏ phiếu để đóng cái đó như một bản sao. Tuy nhiên, chúng tôi có thể đóng Q của bạn dưới dạng trùng lặp với Q đó hoặc chúng tôi có thể cố gắng yêu cầu các mod hợp nhất một trong các Q với nhau (điều này có nghĩa là các câu trả lời sẽ được chuyển sang luồng khác). Bạn nghĩ gì về bản thân?
amip

Câu trả lời:


4

Tôi nghĩ rằng câu trả lời cho câu hỏi của bạn là nhiều điều chỉnh phụ thuộc vào bối cảnh của vấn đề bạn đang giải quyết. Nếu trước tiên bạn xem xét một thử nghiệm tiên nghiệm và thử nghiệm hậu hoc thì bạn có thể thấy nơi hiệu chỉnh cho nhiều thử nghiệm được đưa ra.

Giả sử bạn xây dựng một giả thuyết, thu thập dữ liệu và kiểm tra giả thuyết. Không cần phải sửa trong trường hợp này rõ ràng. Nếu bạn quyết định một tiên nghiệm để thực hiện hai hoặc nhiều thử nghiệm trên tập dữ liệu, bạn có thể hoặc không thể sửa cho nhiều thử nghiệm. Việc hiệu chỉnh có thể khác nhau đối với từng bài kiểm tra và có thể được chọn bằng kiến ​​thức tên miền của bạn. Mặt khác, bạn có thể chỉ cần sử dụng một trong các phương pháp chỉnh sửa thông thường. Một bài kiểm tra tiên nghiệm thường có số lượng nhỏ. Nếu bạn có một số lượng lớn các giả thuyết để kiểm tra, bạn có thể quyết định kích thước mẫu lớn hơn, các mẫu khác nhau, v.v. Nói cách khác, bạn có thể thiết kế thử nghiệm của mình để cho bạn cơ hội tốt nhất có thể đưa ra kết luận chính xác từ các giả thuyết của bạn.

Post-hoc kiểm tra mặt khác được thực hiện trên một tập hợp các dữ liệu không có giả thuyết đặc biệt trong tâm trí. Bạn đang nạo vét dữ liệu ở một mức độ nào đó và chắc chắn bạn sẽ cần phải áp dụng hiệu chỉnh Bonferroni hoặc FDR (hoặc yêu thích của riêng bạn).

Vì các bộ dữ liệu khác nhau được thu thập trong suốt cuộc đời của bạn (hoặc cho một tờ giấy) nói chung là độc lập và đặt ra các câu hỏi khác nhau, nên không cần phải lo lắng về việc sửa lỗi cho mọi bài kiểm tra từng được thực hiện. Hãy nhớ rằng nhiều điều chỉnh bảo vệ chống lại familywise lỗi (bảo vệ tức là cho một gia đình của các bài kiểm tra) chứ không phải là kiểm tra lỗi cá nhân. Nếu bạn có thể nhóm hợp lý các xét nghiệm của mình vào các gia đình, tôi nghĩ bạn sẽ tìm thấy nhiều giới hạn so sánh phù hợp cho các gia đình này.


có lẽ thật thú vị khi xem qua stats.stackexchange.com/questions/164181/iêu

3

Bạn có thể nghĩ về tỷ lệ lỗi thông minh của gia đình (FWER; để biết thêm thông tin, xem bài viết này ). Tôi sẽ nói nếu bạn chạy một thử nghiệm duy nhất để kiểm tra A, B và C, bạn nên áp dụng hiệu chỉnh nhiều thử nghiệm. Nếu bạn chạy một thử nghiệm riêng cho từng A, B và C, thì sẽ không cần chỉnh sửa.

1,000thαα? Vì vậy, dự đoán của tôi là, khi Tukey đề xuất tỷ lệ lỗi thông minh trong thử nghiệm, anh ta có thể muốn công bằng cho từng thử nghiệm, vì mỗi thử nghiệm cần tiền, thời gian và tài nguyên.


@MasatoNakazwa: có lẽ thật thú vị khi xem câu trả lời này stats.stackexchange.com/questions/164181/ Kẻ
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.