Đó là tất cả trong gia đình; nhưng chúng ta có bao gồm cả trong pháp luật không?

Giả sử tôi có một thí nghiệm với hai hoặc nhiều yếu tố. Một ANOVA tổng thể được xây dựng, và sau đó chúng tôi theo dõi với hai hoặc nhiều bộ kiểm tra bài hoc , nói nhiều so sánh. Câu hỏi của tôi là về mức độ lớn --- và bao nhiêu --- gia đình nên được sử dụng làm cơ sở cho việc điều chỉnh bội số của các bài kiểm tra sau hoc này .

Một ví dụ là bộ dữ liệu warp-break từ cuốn sách của Tukey trên EDA. Có hai yếu tố: wool(ở hai cấp độ) và tension(ở ba cấp độ). Bảng ANOVA là:

Source       Df Sum Sq Mean Sq F value    Pr(>F)    
wool          1  450.7  450.67  3.7653 0.0582130
tension       2 2034.3 1017.13  8.4980 0.0006926
wool:tension  2 1002.8  501.39  4.1891 0.0210442
Residuals    48 5745.1  119.69  

Rõ ràng, sự tương tác là cần thiết trong mô hình. Vì vậy, chúng tôi quyết định so sánh các cấp độ của từng yếu tố, giữ yếu tố khác cố định. Các kết quả dưới đây, với một số chú thích sẽ được đề cập sau:

*** Pairwise comparisons of tension for each wool ***
*** All combined: Family T ***

wool = A:   *** Family T|A ***
 contrast   estimate       SE df t.ratio
 L - M    20.5555556 5.157299 48   3.986
 L - H    20.0000000 5.157299 48   3.878
 M - H    -0.5555556 5.157299 48  -0.108

wool = B:   *** Family T|B ***
 contrast   estimate       SE df t.ratio
 L - M    -0.5555556 5.157299 48  -0.108
 L - H     9.4444444 5.157299 48   1.831
 M - H    10.0000000 5.157299 48   1.939


*** Comparison of wool for each tension ***
*** All combined: Family W ***

tension = L:   *** Family W|L ***
 contrast  estimate       SE df t.ratio
 A - B    16.333333 5.157299 48   3.167

tension = M:   *** Family W|M ***
 contrast  estimate       SE df t.ratio
 A - B    -4.777778 5.157299 48  -0.926

tension = H:   *** Family W|H ***
 contrast  estimate       SE df t.ratio
 A - B     5.777778 5.157299 48   1.120

Tôi nghĩ rằng có những thực tiễn khác nhau ngoài kia, và tôi tự hỏi cái nào là phổ biến nhất, và những lý lẽ mà mọi người sẽ đưa ra hoặc chống lại mỗi cách tiếp cận. Trong tính toán các giá trị được điều chỉnh , chúng ta có nên thực hiện các điều chỉnh bội cho ...$P$

1. mỗi gia đình trong năm gia đình nhỏ nhất (T | A, T | B, ..., W | H) riêng biệt? (Lưu ý - 3 gia đình gần đây chỉ có một thử nghiệm nên sẽ không có điều chỉnh bội số cho những gia đình đó)
2. mỗi gia đình lớn hơn (T, với 6 bài kiểm tra và W, với 3 bài kiểm tra) riêng biệt?
3. tất cả bài kiểm tra được coi là một gia đình lớn?$6+3=9$

Tôi quan tâm đến cả những gì mọi người thường làm (ngay cả khi họ không nghĩ nhiều về nó) và tại sao (nếu họ có). Một vài điều tôi có thể đề cập là:

• Có 3 bài kiểm tra trong bảng ANOVA. Tôi không nhớ đã thấy ai xem xét điều chỉnh bội số trong các bài kiểm tra ANOVA. Nếu đó là trường hợp, và bạn đề nghị tùy chọn (3), bạn có không nhất quán không?$F$
• Nếu chúng tôi đã thực hiện một thử nghiệm nhỏ hơn một chút trong đó tất cả các thử nghiệm đều kém mạnh mẽ hơn, có thể sự tương tác sẽ không đáng kể, dẫn đến một số lượng nhỏ hơn nhiều so sánh các phương tiện hậu hoc chỉ. Hơn nữa, các phương tiện biên có thể có các SE nhỏ hơn so với các phương tiện tế bào thực hiện trong thí nghiệm lớn hơn. Ngoài ra, nếu điều chỉnh bội số ít bảo thủ hơn, chúng ta có thể có kết quả "đáng kể" hơn với ít dữ liệu hơn so với chúng ta có nhiều dữ liệu hơn.

Quan tâm đến việc xem những gì mọi người nói ...

Chưa có ai trả lời, vì vậy tôi sẽ giải quyết vấn đề này.

Đó là ý kiến ​​của tôi (và tôi rất thích nghe suy nghĩ của người khác) rằng bạn nên điều chỉnh cho 9 bài kiểm tra đầy đủ trong trường hợp này. Giả sử chúng ta đang sử dụng sửa lỗi tỷ lệ lỗi khôn ngoan của gia đình,

• Chúng tôi đồng thời rút ra kết luận từ tất cả 9 bài kiểm tra cùng một lúc. Tức là quét xuống danh sách và thấy để tìm thấy bất cứ điều gì quan trọng.

• Để có thể làm điều này, chúng tôi đang xem xét tỷ lệ lỗi chung của gia đình là 5%. Cách khác là sửa từng nhóm thành 5% FWER. Điều này có nghĩa là khi phiên dịch, chúng tôi không thể diễn giải các xét nghiệm cùng nhau, và phải xem xét 6 thử nghiệm đầu tiên và nghĩ rằng có 5% khả năng dương tính giả, sau đó lần lượt kiểm tra từng thử nghiệm tiếp theo có 5% khả năng dương tính giả cho mỗi nhóm . IMO tiện ích của nhiều hiệu chỉnh thử nghiệm là chúng ta có thể rút ra suy luận đồng thời từ nhiều thử nghiệm cùng một lúc. Có vẻ hợp lý hơn khi chúng ta nên xem xét tất cả 9 xét nghiệm và biết rằng có 5% khả năng dương tính giả, thay vì phải kiểm tra chúng một cách riêng biệt, giống như không sửa lỗi gì cả.

• Vấn đề điều chỉnh ba tests trong ANOVA rất thú vị, nhưng theo tôi chỉ có liên quan nếu bạn dự định thực hiện một số lựa chọn mô hình trong đó bạn chỉ chấp nhận các dự đoán quan trọng. Đây có thể là một bài đọc tốt, cụ thể kết luận là một bài đọc rất ngắn gọn và xuất sắc. Tôi đã đánh cắp liên kết đó từ câu hỏi này .$F$

• Quan điểm của bạn về việc bao gồm các hiệu ứng tương tác rất thú vị và tôi nghĩ bạn có thể định nghĩa đó là lựa chọn mô hình. Bạn có bao gồm các hiệu ứng tương tác nếu chúng là đáng kể? Trong trường hợp này, có lẽ các số liệu thống kê trong ANOVA ban đầu nên được điều chỉnh để tạo thuận lợi cho việc lựa chọn các yếu tố dự báo quan trọng. $F$

Nhìn chung, tôi nghĩ rằng nếu bạn đang rút ra suy luận đồng thời từ một nhóm, bạn phải xem xét từng thử nghiệm trong nhóm đó để điều chỉnh. Mặt khác, sự hiểu biết tiêu chuẩn về tỷ lệ lỗi nhóm được kiểm soát không theo kịp và rất khó để theo dõi về mặt khái niệm những gì đã được điều chỉnh và những gì không. Theo tôi, tốt hơn nhiều, để giữ tất cả các bài kiểm tra có trách nhiệm và giữ tỷ lệ lỗi thông minh của gia đình ở một ngưỡng nhất định.

Nếu bạn có bất kỳ phản bác nào, tôi rất thích nghe họ, và tôi chắc chắn một số người sẽ không đồng ý với một số điều ở đây. Rất thích nghe suy nghĩ của người khác.