Việc điều chỉnh Bonferroni sẽ luôn cung cấp khả năng kiểm soát mạnh mẽ tỷ lệ lỗi thông minh của gia đình. Điều này có nghĩa rằng, bất kể tính chất và số lượng các bài kiểm tra, hoặc các mối quan hệ giữa chúng, nếu giả định của họ được đáp ứng, nó sẽ đảm bảo rằng xác suất của việc có thậm chí một kết quả có ý nghĩa sai lầm trong số tất cả các bài kiểm tra là tại hầu hết các , mức độ lỗi ban đầu của bạn . Do đó, nó luôn luôn có sẵn .α
Việc sử dụng nó có phù hợp hay không (trái ngược với phương pháp khác hoặc có thể không điều chỉnh gì cả) tùy thuộc vào mục tiêu của bạn, tiêu chuẩn của ngành học của bạn và sự sẵn có của các phương pháp tốt hơn cho tình huống cụ thể của bạn. Ít nhất, có lẽ bạn nên xem xét phương pháp Holm-Bonferroni, nó chỉ chung chung nhưng ít bảo thủ.
Về ví dụ của bạn, vì bạn đang thực hiện một số thử nghiệm, bạn đang tăng tỷ lệ lỗi thông minh cho gia đình (xác suất từ chối ít nhất một giả thuyết khống sai). Nếu bạn chỉ thực hiện một thử nghiệm trên mỗi nửa, có thể có nhiều điều chỉnh bao gồm phương pháp của Hommel hoặc phương pháp kiểm soát tỷ lệ phát hiện sai (khác với tỷ lệ lỗi thông minh của gia đình). Nếu bạn tiến hành kiểm tra trên toàn bộ tập dữ liệu theo sau một số kiểm tra phụ, các kiểm tra không còn độc lập nữa nên một số phương pháp không còn phù hợp. Như tôi đã nói trước đây, Bonferroni trong mọi trường hợp luôn có sẵn và được đảm bảo hoạt động như quảng cáo (nhưng cũng rất bảo thủ).
Bạn cũng có thể bỏ qua toàn bộ vấn đề. Chính thức, tỷ lệ lỗi thông minh của gia đình cao hơn nhưng chỉ với hai bài kiểm tra, nó vẫn không quá tệ. Bạn cũng có thể bắt đầu với một thử nghiệm trên toàn bộ tập dữ liệu, được coi là kết quả chính, tiếp theo là các thử nghiệm phụ cho các nhóm khác nhau, không bị lo ngại vì chúng được hiểu là kết quả phụ hoặc giả thuyết phụ trợ.
Nếu bạn xem xét nhiều biến số nhân khẩu học theo cách đó (trái ngược với việc chỉ lập kế hoạch kiểm tra sự khác biệt giới tính từ cách tiếp cận hoặc có thể là một phương pháp mô hình hóa có hệ thống hơn), vấn đề sẽ trở nên nghiêm trọng hơn với rủi ro đáng kể về việc nạo vét dữ liệu trở nên quan trọng bằng cơ hội cho phép bạn giải cứu một thử nghiệm không có hồi kết với một câu chuyện hay về biến nhân khẩu học để khởi động trong khi thực tế không có gì thực sự xảy ra) và bạn chắc chắn nên xem xét một số hình thức điều chỉnh cho nhiều thử nghiệm. Logic vẫn giữ nguyên với các giả thuyết X khác nhau (kiểm tra giả thuyết X hai lần - một trên mỗi nửa bộ dữ liệu - đòi hỏi tỷ lệ lỗi gia đình cao hơn so với kiểm tra giả thuyết X chỉ một lần và bạn có thể nên điều chỉnh cho điều đó).