Chúng ta có nên giải quyết nhiều điều chỉnh so sánh khi sử dụng khoảng tin cậy?

Giả sử chúng ta có một kịch bản so sánh nhiều lần, chẳng hạn như suy luận sau hoc về thống kê theo cặp, hoặc giống như hồi quy bội, trong đó chúng ta đang thực hiện tổng cộng so sánh. Giả sử cũng vậy, chúng tôi muốn hỗ trợ suy luận trong các bội số này bằng các khoảng tin cậy.$m$

1. Chúng tôi có áp dụng nhiều điều chỉnh so sánh cho các TCTD không? Nghĩa là, giống như nhiều phép so sánh bắt buộc xác định lại với tỷ lệ lỗi thông minh của gia đình (FWER) hoặc tỷ lệ phát hiện sai (FDR), có nghĩa là sự tin cậy (hoặc độ tin cậy ¹ , hoặc sự không chắc chắn, hoặc dự đoán, hoặc suy luận ... chọn khoảng của bạn) có bị thay đổi tương tự bởi nhiều so sánh không? Tôi nhận ra rằng một câu trả lời tiêu cực ở đây sẽ đưa ra những câu hỏi còn lại của tôi.$\alpha$

2. Có bản dịch đơn giản của nhiều quy trình điều chỉnh so sánh từ kiểm tra giả thuyết, đến ước lượng khoảng không? Ví dụ: sẽ điều chỉnh tập trung vào việc thay đổi thuật ngữ trong khoảng tin cậy: ?$\text{CI-level}$$\text{CI}_{\theta} = (\hat{\theta} \pm t_{(1-\text{CI-level)/2}}\hat{\sigma}_{\theta})$

3. Làm thế nào chúng ta sẽ giải quyết các thủ tục kiểm soát tăng cường hoặc giảm dần đối với các TCTD? Một số điều chỉnh tỷ lệ lỗi thông minh của gia đình từ phương pháp kiểm tra giả thuyết đến suy luận là 'tĩnh' trong đó chính xác là điều chỉnh tương tự được thực hiện cho từng suy luận riêng biệt. Ví dụ: điều chỉnh Bonferroni được thực hiện bằng cách thay đổi tiêu chí loại bỏ từ:

• từ chối nếu tới:$p\le \frac{\alpha}{2}$
  
• từ chối nếu ,$p\le \frac{\frac{\alpha}{2}}{m}$

nhưng điều chỉnh tăng dần Holm-Bonferroni không phải là 'tĩnh', mà là được thực hiện bởi:

• đầu tiên đặt hàng giá trị nhỏ nhất đến lớn nhất, và sau đó$p$
  
• từ chối nếu , (trong đó tôi lập chỉ mục thứ tự của giá trị p ) cho đến khi$p\le 1 - (1- \frac{\alpha}{2})^{\frac{1}{m+1-i}}$$i$$p$
  
• chúng tôi không từ chối một giả thuyết null và tự động không từ chối tất cả các giả thuyết null sau đó.

Bởi vì từ chối / không từ chối không xảy ra với các TCTD (chính thức hơn, xem các tài liệu tham khảo bên dưới) có nghĩa là các quy trình từng bước không dịch (nghĩa là bao gồm tất cả các phương pháp FDR)? Tôi nên cảnh báo ở đây rằng tôi không hỏi làm thế nào để dịch các TCTD thành các bài kiểm tra giả thuyết (đại diện của tài liệu 'kiểm tra giả thuyết trực quan' được trích dẫn dưới đây nhận được câu hỏi không tầm thường đó).

4. Điều gì về bất kỳ khoảng thời gian nào khác mà tôi đã đề cập trong ngoặc đơn trong 1?

¹ Trời ạ, tôi chắc chắn hy vọng tôi không gặp rắc rối với những phong cách Bayes ngọt ngào, ngọt ngào đó bằng cách sử dụng từ này ở đây. :)

Tài liệu tham khảo
Afshartous, D. và Preston, R. (2010). Khoảng tin cậy cho dữ liệu phụ thuộc: Đánh đồng không trùng lặp với ý nghĩa thống kê. Thống kê tính toán & phân tích dữ liệu , 54 (10): 2296 Lỗi2305.

Cumming, G. (2009). Suy luận bằng mắt: đọc sự chồng chéo của khoảng tin cậy độc lập. Thống kê trong y học , 28 (2): 205 Phản 220.

Payton, ME, Greenstone, MH và Schenker, N. (2003). Các khoảng tin cậy chồng chéo hoặc các khoảng lỗi tiêu chuẩn: Chúng có ý nghĩa gì về mặt ý nghĩa thống kê? Tạp chí khoa học côn trùng , 3 (34): 1 Vé6.

Tryon, WW và Lewis, C. (2008). Một phương pháp khoảng tin cậy suy luận để thiết lập sự tương đương thống kê điều chỉnh hệ số giảm của Tryon (2001). Phương pháp tâm lý học , 13 (3): 272 Di277.

Một chủ đề tuyệt vời, đáng buồn thay, không được quan tâm đầy đủ.

Khi thảo luận về nhiều tham số và khoảng tin cậy, cần phân biệt giữa suy luận đồng thời và suy luận chọn lọc . Tham chiếu [2] đưa ra một minh chứng tuyệt vời của vấn đề.

$1-\alpha$

Hai khái niệm này có thể được kết hợp: Giả sử bạn chỉ xây dựng các khoảng trên các tham số mà bạn đã từ chối giả thuyết null. Bạn đang đối phó rõ ràng với suy luận chọn lọc. Bạn có thể muốn đảm bảo bảo hiểm đồng thời của các tham số đã chọn hoặc phạm vi bảo hiểm cận biên của các tham số đã chọn. Cái trước sẽ là đối tác của điều khiển FWER, và cái sau của điều khiển FDR.

Bây giờ hơn nữa: Không phải tất cả các quy trình kiểm tra đều có các khoảng thời gian đi kèm. Để biết quy trình FWER và khoảng thời gian đi kèm của chúng, xem [3]. Đáng buồn thay, tài liệu tham khảo này là một chút lỗi thời. Đối với đối tác khoảng thời gian của kiểm soát BH FDR, xem [1] và một ứng dụng trong [4] (cũng bao gồm đánh giá ngắn gọn về vấn đề này). Xin lưu ý rằng đây là một lĩnh vực nghiên cứu mới và tích cực để bạn có thể mong đợi nhiều kết quả hơn trong tương lai gần.

[1] Stewamini, Y. và D. Yekutieli. Khám phá sai lầm về tỷ lệ tin cậy được điều chỉnh theo tỷ lệ cho các thông số được chọn. Tạp chí của Hiệp hội thống kê Mỹ 100, không. 469 (2005): 71 Hàng81.

[2] Cox, DR Điên Một nhận xét về nhiều phương pháp so sánh. Kỹ thuật số 7, không. 2 (1965): 223 Từ 24.

[3] Hồ Chí Minh, Y. và AC Tamhane. Nhiều thủ tục so sánh. New York, NY, Hoa Kỳ: John Wiley & Sons, Inc., 1987.

[4] Rosenblatt, JD và Y. Stewamini. Tương quan chọn lọc của người Viking; Không phải Voodoo.

Tôi sẽ không bao giờđiều chỉnh khoảng tin cậy cho nhiều thử nghiệm. Tôi không phải là một fan hâm mộ lớn của giá trị p, bởi vì tôi tin rằng việc ước tính các tham số là cách sử dụng số liệu thống kê tốt hơn so với các giả thuyết thử nghiệm không bao giờ chính xác. Tuy nhiên, tôi thừa nhận rằng thử nghiệm giả thuyết có giá trị của nó, nói rằng một thử nghiệm ngẫu nhiên có kiểm soát trong đó ít nhất người ta có thể lập luận rằng không có triệu chứng, nếu một phương pháp điều trị không hiệu quả, giả thuyết khống là đúng. Tuy nhiên như tôi đã nói ở nơi khác [1], thường thì điều này liên quan đến việc có một kết quả chính. Tuy nhiên, khoảng tin cậy, theo định nghĩa thường xuyên, không liên quan đến các giả thuyết và do đó không cần điều chỉnh cho các so sánh khác, có khả năng không liên quan. Giả sử tôi đang thử nghiệm các kiểu hình liên quan đến một gen cụ thể, giả sử chiều cao và huyết áp. TÔI' Tôi muốn biết sự khác biệt về chiều cao giữa những người có và không có gen như thế nào và tôi đã ước tính nó tốt như thế nào. Tôi không thấy rằng thực tế là tôi cũng đo huyết áp có liên quan gì đến nó. Điều quan trọng là nếu hai người này là những người quan trọng duy nhất trong số hàng trăm người chúng tôi đã thử nghiệm. Sau đó, có khả năng là sự khác biệt lớn hơn các thí nghiệm phản tác dụng dự kiến ​​khi chúng ta chỉ đo chiều cao và huyết áp, nhưng đã thực hiện hàng trăm thí nghiệm. Tuy nhiên, trong những trường hợp đó, không có sự điều chỉnh đơn giản nào có hiệu quả, và tốt hơn là đưa ra ước tính chưa được điều chỉnh nhưng làm sạch như cách bạn có những so sánh này. Chúng tôi cũng đã công bố một số lỗi trong khoảng tin cậy chồng chéo. [2] Tôi thấy rằng thực tế là tôi cũng đo được huyết áp có liên quan gì đến nó. Điều quan trọng là nếu hai người này là những người quan trọng duy nhất trong số hàng trăm người chúng tôi đã thử nghiệm. Sau đó, có khả năng là sự khác biệt lớn hơn các thí nghiệm phản tác dụng dự kiến ​​khi chúng ta chỉ đo chiều cao và huyết áp, nhưng đã thực hiện hàng trăm thí nghiệm. Tuy nhiên, trong những trường hợp đó, không có sự điều chỉnh đơn giản nào có hiệu quả, và tốt hơn là đưa ra ước tính chưa được điều chỉnh nhưng làm sạch như cách bạn có những so sánh này. Chúng tôi cũng đã công bố một số lỗi trong khoảng tin cậy chồng chéo. [2] Tôi thấy rằng thực tế là tôi cũng đo được huyết áp có liên quan gì đến nó. Điều quan trọng là nếu hai người này là những người quan trọng duy nhất trong số hàng trăm người chúng tôi đã thử nghiệm. Sau đó, có khả năng là sự khác biệt lớn hơn các thí nghiệm phản tác dụng dự kiến ​​khi chúng ta chỉ đo chiều cao và huyết áp, nhưng đã thực hiện hàng trăm thí nghiệm. Tuy nhiên, trong những trường hợp đó, không có sự điều chỉnh đơn giản nào có hiệu quả, và tốt hơn là đưa ra ước tính chưa được điều chỉnh nhưng làm sạch như cách bạn có những so sánh này. Chúng tôi cũng đã công bố một số lỗi trong khoảng tin cậy chồng chéo. [2] lớn hơn các thí nghiệm phản tác dụng dự kiến ​​trong đó chúng tôi chỉ đo chiều cao và huyết áp, nhưng đã thực hiện hàng trăm thí nghiệm. Tuy nhiên, trong những trường hợp đó, không có sự điều chỉnh đơn giản nào có hiệu quả, và tốt hơn là đưa ra ước tính chưa được điều chỉnh nhưng làm sạch như cách bạn có những so sánh này. Chúng tôi cũng đã công bố một số lỗi trong khoảng tin cậy chồng chéo. [2] lớn hơn các thí nghiệm phản tác dụng dự kiến ​​trong đó chúng tôi chỉ đo chiều cao và huyết áp, nhưng đã thực hiện hàng trăm thí nghiệm. Tuy nhiên, trong những trường hợp đó, không có sự điều chỉnh đơn giản nào có thể hoạt động, và tốt hơn là đưa ra ước tính chưa được điều chỉnh nhưng làm sạch như cách bạn có những so sánh này. Chúng tôi cũng đã công bố một số lỗi trong khoảng tin cậy chồng chéo. [2]

[1] Thống kê Campbell MJ và Swinscow TDV (2009) tại Square One. Oxford lần thứ 11; BMJ Sách Blackwell Xuất bản

[2] Julious SA, Campbell MJ, Walters SJ (2007) Dự đoán phương tiện trong tương lai sẽ nằm ở đâu dựa trên kết quả của thử nghiệm hiện tại. Các thử nghiệm lâm sàng đương đại, 28, 352-357.