Điều gì sai với điều chỉnh Bonferroni?

Tôi đã đọc bài báo sau: Perneger (1998) Có gì sai với các điều chỉnh Bonferroni .

Tác giả đã tóm tắt bằng cách nói rằng điều chỉnh Bonferroni, tốt nhất, ứng dụng hạn chế trong nghiên cứu y sinh và không nên được sử dụng khi đánh giá bằng chứng về giả thuyết cụ thể:

Điểm tóm tắt:

• Điều chỉnh ý nghĩa thống kê đối với số lượng thử nghiệm đã được thực hiện trên dữ liệu nghiên cứu, phương pháp Bonferroni đã tạo ra nhiều vấn đề hơn so với giải pháp
• Phương pháp Bonferroni liên quan đến giả thuyết null chung (rằng tất cả các giả thuyết null đều đồng thời đúng), điều này hiếm khi được các nhà nghiên cứu quan tâm hoặc sử dụng
• Điểm yếu chính là việc giải thích một phát hiện phụ thuộc vào số lượng các xét nghiệm khác được thực hiện
• Khả năng xảy ra lỗi loại II cũng tăng lên, do đó những khác biệt thực sự quan trọng được coi là không đáng kể
• Mô tả đơn giản những thử nghiệm có ý nghĩa đã được thực hiện và tại sao, nói chung là cách tốt nhất để xử lý nhiều so sánh

Tôi có bộ dữ liệu sau đây và tôi muốn thực hiện nhiều hiệu chỉnh thử nghiệm NHƯNG tôi không thể quyết định phương pháp tốt nhất trong trường hợp này.

Tôi muốn biết nếu bắt buộc phải thực hiện loại chỉnh sửa này cho tất cả các bộ dữ liệu có chứa danh sách phương tiện và phương pháp tốt nhất để hiệu chỉnh trong trường hợp này là gì?

Điều gì sai với sự điều chỉnh Bonferroni bên cạnh chủ nghĩa bảo thủ được đề cập bởi những người khác là điều gì sai với tất cả các hiệu chỉnh đa bội. Họ không tuân theo các nguyên tắc thống kê cơ bản và tùy tiện; không có giải pháp duy nhất cho vấn đề đa bội trong thế giới thường xuyên. Thứ hai, điều chỉnh bội số dựa trên triết lý cơ bản rằng tính xác thực của một tuyên bố phụ thuộc vào giả thuyết nào khác được giải trí. Điều này tương đương với thiết lập Bayes trong đó phân phối trước cho tham số quan tâm tiếp tục bảo thủ hơn khi các tham số khác được xem xét. Điều này dường như không mạch lạc. Người ta có thể nói rằng phương pháp này xuất phát từ các nhà nghiên cứu đã bị "đốt cháy" bởi một lịch sử của các thí nghiệm dương tính giả và bây giờ họ muốn bù đắp cho những hành động sai trái của họ.

Để mở rộng một chút, hãy xem xét tình huống sau đây. Một nhà nghiên cứu ung thư đã thực hiện một sự nghiệp nghiên cứu hiệu quả của hóa trị liệu của một lớp nhất định. Tất cả 20 thử nghiệm ngẫu nhiên trước đây của cô đã mang lại hiệu quả không đáng kể về mặt thống kê. Bây giờ cô ấy đang thử nghiệm một hóa trị liệu mới trong cùng một lớp. Lợi ích sống còn có ý nghĩa với $P=0.04$. Một đồng nghiệp chỉ ra rằng đã có một điểm cuối thứ hai được nghiên cứu (co rút khối u) và điều chỉnh bội số cần được áp dụng cho kết quả sống sót, mang lại lợi ích sống còn không đáng kể. Làm thế nào mà đồng nghiệp nhấn mạnh điểm cuối thứ hai nhưng không quan tâm đến việc điều chỉnh 20 lần thất bại trước đó để tìm ra một loại thuốc hiệu quả? Và làm thế nào bạn sẽ tính đến kiến ​​thức trước về 20 nghiên cứu trước đây nếu bạn không Bayesian? Điều gì xảy ra nếu không có điểm cuối thứ hai. Liệu đồng nghiệp có tin rằng một lợi ích sinh tồn đã được chứng minh, bỏ qua tất cả các kiến ​​thức trước đó?

Ông tóm tắt nói rằng điều chỉnh Bonferroni, tốt nhất, ứng dụng hạn chế trong nghiên cứu y sinh và không nên được sử dụng khi đánh giá bằng chứng về giả thuyết cụ thể.

Hiệu chỉnh Bonferroni là một trong những kỹ thuật so sánh đơn giản và bảo thủ nhất. Nó cũng là một trong những lâu đời nhất và đã được cải thiện rất nhiều theo thời gian. Thật công bằng khi nói rằng các điều chỉnh Bonferroni có ứng dụng hạn chế trong hầu hết các tình huống. Gần như chắc chắn có một cách tiếp cận tốt hơn. Điều đó có nghĩa là, bạn sẽ cần phải sửa cho nhiều so sánh nhưng bạn có thể chọn một phương pháp ít bảo thủ và mạnh mẽ hơn.

Ít bảo thủ

Nhiều phương pháp so sánh bảo vệ chống lại ít nhất một dương tính giả trong một gia đình xét nghiệm. Nếu bạn thực hiện một thử nghiệm ở cấp độ thì bạn đang cho phép 5% cơ hội nhận được kết quả dương tính giả. Nói cách khác, bạn từ chối giả thuyết khống của bạn một cách sai lầm. Nếu bạn thực hiện 10 bài kiểm tra ở mức α = 0,05 thì điều này tăng lên 1 - ( 1 - 0,05 ) $\alpha$$\alpha = 0.05$$1-(1-0.05)^{10}$ = ~ 40% cơ hội nhận được dương tính giả

Với phương pháp Bonferroni, bạn sử dụng một ở đầu thấp nhất của thang đo (tức là α b = α / n ) để bảo vệ gia đình của bạn về n thử nghiệm ở cấp độ α . Nói cách khác, đó là sự bảo thủ nhất. Bây giờ, bạn có thể tăng α b trên giới hạn dưới do Bonferroni đặt (nghĩa là làm cho bài kiểm tra của bạn bớt bảo thủ hơn) và vẫn bảo vệ gia đình các bài kiểm tra của bạn ở mức $\alpha_b$$\alpha_b = \alpha/n$$n$$\alpha$$\alpha_b$$\alpha$ cấp độ . Có nhiều cách để làm điều này, phương pháp Holm-Bonferroni chẳng hạn hoặc tốt hơn vẫn là Tỷ lệ khám phá sai

Quyền lực hơn

Một điểm tốt được đưa ra trong bài viết được tham chiếu là khả năng lỗi loại II cũng tăng lên do đó những khác biệt thực sự quan trọng được coi là không đáng kể.

Cái này rất quan trọng. Một thử nghiệm mạnh mẽ là một thử nghiệm tìm thấy kết quả quan trọng nếu chúng tồn tại. Bằng cách sử dụng hiệu chỉnh Bonferroni, bạn kết thúc với một bài kiểm tra ít mạnh mẽ hơn. Vì Bonferroni bảo thủ, sức mạnh có thể sẽ giảm đáng kể. Một lần nữa, một trong những phương pháp thay thế, ví dụ Tỷ lệ khám phá sai, sẽ tăng sức mạnh của bài kiểm tra. Nói cách khác, bạn không chỉ bảo vệ chống lại các kết quả dương tính giả mà còn cải thiện khả năng tìm kiếm kết quả thực sự quan trọng.

Vì vậy, có, bạn nên áp dụng một số kỹ thuật chỉnh sửa khi bạn có nhiều so sánh. Và vâng, Bonferroni có lẽ nên tránh để ủng hộ một phương pháp ít bảo thủ và mạnh mẽ hơn

Thomas Perneger không phải là một nhà thống kê và bài báo của ông đầy lỗi. Vì vậy, tôi sẽ không quá nghiêm túc. Nó thực sự đã bị chỉ trích nặng nề bởi những người khác. Ví dụ, Aickin cho biết bài viết của Perneger "bao gồm hầu hết các lỗi": Aickin, "Phương pháp khác để điều chỉnh nhiều thử nghiệm tồn tại", BMJ. Ngày 9 tháng 1 năm 1999; 318 (7176): 127.

Ngoài ra, không có giá trị p nào trong câu hỏi ban đầu là <.05 dù thế nào, ngay cả khi không điều chỉnh bội số. Vì vậy, nó có thể không quan trọng điều chỉnh (nếu có) được sử dụng.

Có lẽ thật tốt khi giải thích '' lý do đằng sau '' nhiều lần sửa lỗi thử nghiệm giống như một trong những Bonferroni. Nếu điều đó là rõ ràng thì bạn sẽ có thể tự đánh giá xem bạn có nên áp dụng chúng hay không.

$\mu$$H_0: \mu=0$

$H_1: \mu \ne 0$$H_0: \mu = 0$$\alpha$

$H_0$$H_0$

$H_0$$H_0$$H_1$

Bằng chứng sai là một điều xấu trong khoa học bởi vì chúng tôi tin rằng đã có được kiến ​​thức thực sự về thế giới, nhưng thực tế chúng tôi có thể đã gặp xui xẻo với mẫu này. Do đó, các loại lỗi nên được kiểm soát. Do đó, người ta nên đặt giới hạn trên cho xác suất của loại bằng chứng này, hoặc người ta nên kiểm soát lỗi loại I. Điều này được thực hiện bằng cách sửa trước một mức ý nghĩa chấp nhận được.

$5\%$$H_0$$5\%$$H_0$$H_1$$H_1$

$H_0: \mu_1=0 \& \mu_2=0$$H_1: \mu1 \ne 0 | \mu_2 \ne 0$$\alpha=0.05$

$H_0^{(1)}: \mu_1=0$$H_0^{(1)}: \mu_1 \ne 0$$H_1^{(2)}: \mu_2=0$$H_1^{(2)}: \mu_2 \ne 0$$\alpha=0.05$

$H_0^{(1)}$$H_0^{(1)}$

$1-(1-0.05)^2=0.0975$$\alpha$

Một thực tế quan trọng ở đây là hai bài kiểm tra dựa trên một và mẫu sampe!

Lưu ý rằng chúng tôi đã giả định độc lập. Nếu bạn không thể giả định tính độc lập thì bạn có thể hiển thị, sử dụng bất đẳng thức Bonferroni $ mà lỗi loại I có thể tăng lên đến 0,1.

Lưu ý rằng Bonferroni bảo thủ và quy trình từng bước của Holm tuân theo các giả định tương tự như đối với Bonferroni, nhưng quy trình của Holm có nhiều quyền lực hơn.

Khi các biến số rời rạc, tốt hơn là sử dụng thống kê kiểm tra dựa trên giá trị p tối thiểu và nếu bạn sẵn sàng từ bỏ kiểm soát lỗi loại I khi thực hiện một số lượng lớn các thử nghiệm thì quy trình Sai Discovery Rate có thể mạnh hơn.

CHỈNH SỬA :

Nếu ví dụ (xem ví dụ trong câu trả lời của @Frank Harrell)

$H_0^{(1)}: \mu_1=0$$H_1^{(1)}: \mu_1 \ne 0$

$H_0^{(2)}: \mu_1=0$$H_1^{(2)}: \mu_2 \ne 0$

$H_0^{(12)}: \mu_1=0 \& \mu_2 = 0$$H_1^{(12)}: \mu_1 \ne 0 | \mu_2 \ne 0$

$H_0^{(1)}$$H_1^{(1)}$$H_0^{(2)}$$H_1^{(2)}$

Một cuộc thảo luận thú vị về hiệu chỉnh và kích thước hiệu ứng Bonferroni http://beheco.oxfordjournals.org/content/15/6/1044.full.pdf+html Ngoài ra, hiệu chỉnh Dunn-Sidak và phương pháp xác suất kết hợp của Fisher đáng được xem là lựa chọn thay thế. Bất kể cách tiếp cận nào, đều đáng báo cáo cả giá trị p được điều chỉnh và giá trị cộng với kích thước hiệu ứng, để người đọc có thể tự do diễn giải chúng.

Đối với một, nó cực kỳ bảo thủ. Phương pháp Holm-Bonferroni hoàn thành những gì phương pháp Bonferonni đạt được (kiểm soát Tỷ lệ lỗi khôn ngoan của gia đình) đồng thời cũng mạnh hơn.

Chúng ta nên xem các phương pháp "Tỷ lệ khám phá sai" như là một phương pháp ít bảo thủ hơn so với Bonferroni. Xem

John D. Storey, "LÃI SUẤT KHÁM PHÁ TÍCH CỰC TUYỆT VỜI: MỘT GIẢI THÍCH BAYESIAN VÀ GIÁ TRỊ q," Biên niên sử Thống kê 2003, Tập. 31, số 6, 201312035.