Kết hợp giá trị p từ các thử nghiệm thống kê khác nhau được áp dụng trên cùng một dữ liệu

Mặc dù tiêu đề của câu hỏi có vẻ tầm thường, tôi muốn giải thích rằng nó không tầm thường theo nghĩa nó khác với câu hỏi về việc áp dụng cùng một bài kiểm tra thống kê trong các bộ dữ liệu tương tự để kiểm tra giả thuyết tổng thể null (phân tích tổng hợp, ví dụ: sử dụng phương pháp của Fisher để kết hợp các giá trị p). Những gì tôi đang tìm kiếm, là một phương thức (nếu nó tồn tại và nếu câu hỏi có giá trị trong thuật ngữ thống kê) sẽ kết hợp các giá trị p từ hai thử nghiệm thống kê khác nhau (ví dụ: kiểm tra t và kiểm tra u, ngay cả khi một tham số và cái kia thì không), được áp dụng để so sánh trung tâm của hai lần lấy mẫu từ hai quần thể. Cho đến nay tôi đã tìm kiếm rất nhiều trên web mà không có câu trả lời rõ ràng. Câu trả lời tốt nhất tôi có thể tìm thấy được dựa trên các khái niệm lý thuyết trò chơi của David Bickel ( http://arxiv.org/pdf/1111.6174.pdf ).

Một giải pháp rất đơn giản sẽ là một kế hoạch bỏ phiếu. Giả sử rằng tôi có hai vectơ quan sát $A=[a_1, a_2, ..., a_n]$ và $B=[b_1, b_2, ..., b_n]$và tôi muốn áp dụng một số thống kê giống như t (kiểm tra t, kiểm tra u, thậm chí ANOVA 1 chiều) để kiểm tra giả thuyết rằng các trung tâm (phương tiện, trung bình, v.v.) của hai phân phối dưới mức đều bằng với giả thuyết rằng chúng không, ở mức ý nghĩa 0,05. Giả sử tôi chạy 5 bài kiểm tra. Sẽ là hợp pháp khi nói rằng có đủ bằng chứng để từ chối phân phối null nếu tôi có giá trị p <0,05 trong 3 trên 5 thử nghiệm?

Liệu một giải pháp khác là sử dụng luật tổng xác suất hay điều này là hoàn toàn sai? Ví dụ: giả sử $A$ là sự kiện phân phối null bị từ chối. Sau đó, sử dụng 3 bài kiểm tra, $T_1$ , $T_2$ , $T_3$ (nghĩa là $P(T_1)=P(T_2)=P(T_3)=1/3$ ), sẽ là một giá trị có thể cho $P(A)$ được $P(A) = P(A|T_1)P(T_1) + P(A|T_2)P(T_2) + P(A|T_3)P(T_3)$ , trong đó$P(A|T_i)$ là xác suất phân phối null bị từ chối theo thử nghiệm$T_i$ .

Tôi xin lỗi nếu câu trả lời là rõ ràng hoặc câu hỏi quá ngu ngốc

Sử dụng nhiều hiệu chỉnh thử nghiệm được Corone ủng hộ là được, nhưng nó sẽ khiến bạn mất hàng núi sức mạnh vì giá trị p của bạn thường sẽ tương quan tốt, thậm chí sử dụng hiệu chỉnh Hommel.

$p_1, p_2, \dots, p_n$p $p^* = \min (p_1, \dots, p_n)$$p^*$

Bạn cần tính giá trị cho giá trị quan sát của (gọi nó là ). Đối với điều này, bạn có thể mô phỏng, giả sử, 100 000 bộ dữ liệu theo các giả thuyết null và với mỗi bộ dữ liệu đó, hãy tính một . Điều này cung cấp cho bạn một phân phối theo kinh nghiệm của theo giả thuyết null. Giá trị của bạn là tỷ lệ của các giá trị mô phỏng là .p ∗ p ∗ o b s p ∗ p ∗ p < p ∗ o b $p$$p^*$$p^*_{obs}$$p^*$$p^*$$p$$<p^*_{obs}$

Làm thế nào để bạn mô phỏng các tập dữ liệu theo giả thuyết null? Trong trường hợp của bạn, nếu tôi đoán tốt, các trường hợp và điều khiển và dữ liệu RNS-seq để ước tính mức biểu thức. Để mô phỏng một tập dữ liệu dưới giá trị null, thông thường chỉ cần hoán vị ngẫu nhiên trạng thái trường hợp / điều khiển.

Loại điều này thường sẽ được bao phủ bởi nhiều thử nghiệm giả thuyết, mặc dù nó không hoàn toàn là một tình huống điển hình.

Bạn đã đúng khi lưu ý rằng điều này khác với phân tích tổng hợp, ở chỗ bạn đang sử dụng cùng một dữ liệu cho nhiều thử nghiệm, nhưng tình huống đó vẫn được bao phủ bởi thử nghiệm đa giả thuyết. Điều hơi kỳ lạ ở đây là gần như cùng một giả thuyết mà bạn đang thử nghiệm nhiều lần, và sau đó bạn muốn giả thuyết null toàn cầu là giao điểm của tất cả những điều đó - có lẽ đáng để thắc mắc tại sao bạn cảm thấy cần phải làm điều này , nhưng có thể có những lý do chính đáng.

Nếu bạn đang thực hiện một bộ thử nghiệm dễ phân tích hơn, người ta có thể đi xuống tuyến đường thử nghiệm Liên minh, nhưng tôi không nghĩ rằng sẽ đưa bạn đến bất cứ nơi nào, vì vậy tôi khuyên bạn nên sử dụng phương pháp điều chỉnh bội số.

Tôi khuyên bạn nên bắt đầu bằng cách xem Wikipedia nói gì về chủ đề này, nhưng cố gắng đừng quá sa lầy: http://en.wikipedia.org/wiki/Mult Môn_comparisons

Vì vậy, bạn cần sử dụng hiệu chỉnh bội số và loại trừ Giao lộ, đại khái là các tùy chọn của bạn như sau

• Bonferonni - Bị chi phối nghiêm ngặt bởi Holm-Bonferroni, chỉ quan tâm đến lịch sử
• Holm-Bonferroni - Sẽ làm việc cho bạn, nhưng sẽ tiêu tốn năng lượng của bạn (có thể rất nhiều trong trường hợp của bạn)
• Sidak - mạnh hơn BH, nhưng bạn không thể sử dụng điều này vì giá trị p của bạn sẽ tương quan
• Hommel - mạnh hơn BH và bạn sẽ ổn, vì giá trị p của bạn chắc chắn có mối tương quan tích cực

Vấn đề lớn nhất của bạn là bạn rất có thể nhận được các giá trị p rất giống nhau trong các thử nghiệm khác nhau của mình. Hommel không nên trừng phạt bạn quá nhiều vì điều này.

Ví dụ: bạn có thể điều chỉnh giá trị p trong R bằng cách sử dụng p.adjust

p = c(0.03, 0.034, 0.041)
p.adjust(p, method = "bonferroni")
p.adjust(p, method = "holm")
p.adjust(p, method = "hommel")

> p.adjust(p, method = "bonferroni")
[1] 0.090 0.102 0.123
> p.adjust(p, method = "holm")
[1] 0.09 0.09 0.09
> p.adjust(p, method = "hommel")
[1] 0.041 0.041 0.041

Các phương thức này đều kiểm soát Tỷ lệ lỗi gia đình khôn ngoan , có nghĩa là nếu bạn kiểm tra lần lượt từng giá trị p dựa trên ngưỡng vượt qua ngưỡng của bạn, thì xác suất 1 lỗi trở lên vẫn được kiểm soát tại . Điều này có nghĩa là bạn có thể từ chối giả thuyết toàn cầu nếu bạn từ chối một hoặc nhiều giả thuyết phụ và kích thước thử nghiệm của bạn vẫn được kiểm soát tại .$\alpha$$\alpha$

Khi tôi bắt đầu ngay từ đầu, đây sẽ không phải là cuộc tấn công mạnh mẽ nhất bạn có thể làm, nhưng bất cứ điều gì tinh vi hơn sẽ đòi hỏi nhiều công việc hơn.

Tại sao điều này kiểm soát$\alpha$

Giả thuyết null toàn cầu là tất cả các giả thuyết null con là đúng.

Đặt kết quả của một thử nghiệm duy nhất là lấy giá trị 1 nếu null bị từ chối, 0 nếu không.$X_i$

Vì chắc chắn có mối tương quan tích cực, chúng ta có thể sử dụng Hommel để kiểm soát FWER.$X_i$

Kiểm soát này có nghĩa là xác suất một hoặc nhiều thử nghiệm từ chối sai được kiểm soát tại$\alpha$

Do đó, $P(\sum(X_i) > 0) \le \alpha$

Do đó, nếu bạn từ chối giả thuyết toàn cầu nếu một hoặc nhiều giả thuyết con bị từ chối, quy mô của bài kiểm tra toàn cầu là$\le \alpha$