Bao nhiêu nhỏ lon giá trị từ ANOVA của -test được so với những người từ nhiều -tests trên các dữ liệu giống nhau không?

Giới thiệu: Đã nhận thấy sự chú ý nhận được ngày hôm nay bởi câu hỏi này, " ANOVA có thể có ý nghĩa khi không có bài kiểm tra cặp đôi nào không? ", Tôi nghĩ rằng tôi có thể điều chỉnh lại nó theo cách thú vị có thể xứng đáng với câu trả lời của riêng mình .

Một loạt các kết quả không nhất quán (theo mệnh giá) có thể xảy ra khi ý nghĩa thống kê được hiểu là sự phân đôi đơn giản và được đánh giá dựa trên cơ sở đơn thuần là cao hơn, hoặc . Câu trả lời của @ Glen_b cho câu hỏi trên trình bày một ví dụ hữu ích về trường hợp:$p$$\alpha$

• Một ANOVA -test tạo ra một cho một biến độc lập (IV) với bốn cấp độ, nhưng$F$$p_F<.05$
• $p_t>.08$ cho tất cả hai mẫu -tests rằng so sánh sự khác biệt trong các biến phụ thuộc cùng (DV) giữa các quan sát tương ứng với mỗi cặp bốn cấp độ của IV.$t$

Một trường hợp tương tự đã phát sinh mặc dù đã hiệu chỉnh Bonferroni để so sánh cặp sau-hoc thông qua câu hỏi này: Các biện pháp lặp lại của Anova rất có ý nghĩa, nhưng tất cả các so sánh nhiều với hiệu chỉnh Bonferroni thì không? Các trường hợp được đề cập trước đây với một thử nghiệm hơi khác trong hồi quy bội cũng tồn tại:

• Tại sao có thể có được thống kê F đáng kể (p <0,001) nhưng kiểm tra hồi quy không đáng kể? :$p_F<.001,p_{\beta t}>.09$
• Làm thế nào một hồi quy có thể có ý nghĩa nhưng tất cả các yếu tố dự đoán là không đáng kể?
  • Trong câu trả lời của @ whuber ,$p_F=.0003,p_{\beta t}>.09$

Tôi cá rằng trong những trường hợp như thế này, một số (nhưng không phải tất cả) so sánh cặp '(hoặc hệ số hồi quy' kiểm tra ý nghĩa ') giá trị phải khá gần với nếu thử nghiệm omnibus tương ứng có thể đạt được . Tôi thấy đây là trường hợp trong ví dụ đầu tiên của @ Glen_b, trong đó , và sự khác biệt lớn nhất theo cặp cho nhỏ nhất . Đây có phải là trường hợp nói chung? Cụ thể hơn :$p$$\alpha$$p <\alpha$$F_{(3,20)}=3.19$$p_F=.046$$p_t=.054$

Câu hỏi: Nếu một ANOVA -test tạo ra một cho hiệu lực sau một polytomous IV về một DV liên tục, bao cao thấp nhất có thể p giá trị được trong số tất cả hai mẫu t -tests rằng so sánh từng cặp các cấp của IV? Ý nghĩa cặp tối thiểu có thể cao bằng p_t = 0,50 không?$F$$p_F=.05$$p$$t$$p_t=.50$

_{Tôi hoan nghênh câu trả lời chỉ giải quyết câu hỏi cụ thể này . Tuy nhiên, để thúc đẩy hơn nữa câu hỏi này, tôi sẽ giải thích và đưa ra một số câu hỏi có khả năng hùng biện. Cảm thấy hoan nghênh để giải quyết những mối quan tâm này, và thậm chí bỏ qua câu hỏi cụ thể nếu bạn muốn, đặc biệt là nếu câu hỏi cụ thể nhận được câu trả lời dứt khoát.}

Tầm quan trọng: Hãy xem xét sự khác biệt ít quan trọng giữa và sẽ như thế nào nếu ý nghĩa thống kê được đánh giá liên tục về sức mạnh của bằng chứng chống lại giả thuyết khống (tôi nghĩ cách tiếp cận của Ron Fisher?), thay vì theo các thuật ngữ phân đôi như trên hoặc dưới ngưỡng cho xác suất lỗi có thể chấp nhận được trong việc chọn có từ chối bán buôn null hay không. " hacking " là một vấn đề đã biết, một phần nợ tiếng tăm của nó đối với một lỗ hổng không cần thiết được đưa ra bằng cách giải thích$p_F=.04$$p_t=.06$$\alpha=.05$$p$$p$các giá trị theo thông lệ chung có ý nghĩa phân đôi thành các tương đương "đủ tốt" và "không đủ tốt". Nếu người ta định loại bỏ cách làm này và tập trung thay vào việc diễn giải các giá trị như là sức mạnh của bằng chứng chống lại null trong một khoảng thời gian liên tục, thì việc kiểm tra omnibus có phần ít quan trọng hơn khi người ta thực sự quan tâm đến nhiều so sánh theo cặp? Tất nhiên, không phải là vô dụng, vì bất kỳ sự cải thiện hiệu quả hợp lý nào về độ chính xác thống kê là điều đáng mong muốn, nhưng ... chẳng hạn, nếu giá trị của so sánh cặp thấp nhất nhất thiết phải nằm trong của ANOVA (hoặc thử nghiệm omnibus khác)$p$$p$$.10$$p$giá trị, không phải điều này làm cho thử nghiệm omnibus có phần tầm thường hơn, ít bắt buộc hơn và thậm chí sai lệch hơn (kết hợp với những hiểu lầm từ trước), đặc biệt là nếu người ta không đặc biệt muốn kiểm soát qua nhiều thử nghiệm?$\alpha$

Ngược lại, nếu dữ liệu có thể tồn tại sao cho một omnibus , nhưng tất cả các cặp , điều này có nên thúc đẩy omnibus và kiểm tra độ tương phản trong suốt quá trình thực hành và sư phạm không? Dường như với tôi, vấn đề này cũng cần thông báo giá trị tương đối của việc đánh giá ý nghĩa thống kê theo sự phân đôi so với tính liên tục, trong đó hệ thống diễn giải phân đôi nên nhạy cảm hơn với các điều chỉnh nhỏ khi sự khác biệt là "có ý nghĩa biên", trong khi cả hai hệ thống đều không là an toàn từ việc không thực hiện kiểm tra omnibus hoặc điều chỉnh cho nhiều so sánh nếu sự khác biệt / điều chỉnh này có thể rất lớn (ví dụ, trên lý thuyết.$p=.05$$p>.50$$p_t-p_F>.40)$

_{Các phức tạp tùy chọn khác để xem xét hoặc bỏ qua, bất cứ điều gì làm cho việc trả lời dễ dàng và đáng giá hơn :}

• ^{Thay vào đó, s cho s có thể cao đến mức nào , đối với , thay vào đó (ví dụ: )$p$$t$$F$$p<.05$$p=.01, .001,\dots$}
• ^{Nhạy cảm với số lượng mức độ trong IV đa hình}
• ^{Độ nhạy đối với sự không đồng đều về ý nghĩa của sự khác biệt theo cặp (trong khi tất cả )$p_t>p_F$}
  • ^{Câu trả lời của người chỉ ra rằng bao gồm những khác biệt nhỏ có thể che giấu những khác biệt lớn.}
• ^{Sự khác nhau giữa các hiệu chỉnh của các bài kiểm tra omnibus khác nhau cho nhiều so sánh}
  • ^{Xem thêm: Sửa lỗi cho nhiều so sánh trong một đối tượng / các biện pháp lặp lại ANOVA; bảo thủ quá mức?}
  • ^{Với nhiều IV, có vẻ như đa cộng đồng có thể làm trầm trọng thêm vấn đề này .}
• ^{Các trường hợp bị hạn chế trong đó dữ liệu đáp ứng tất cả các giả định của các xét nghiệm tham số cổ điển một cách tối ưu}
  • ^{Hạn chế này có thể là quan trọng để ngăn chặn câu hỏi này được một chút tranh luận.}

Giả sử bằng [nhưng xem chú thích 2 bên dưới] cho mỗi điều trị theo bố cục một chiều và SD gộp từ tất cả các nhóm được sử dụng trong các thử nghiệm (như được thực hiện trong các so sánh sau hoc thông thường), tối đa có thể giá trị cho kiểm tra là (ở đây, biểu thị cdf). Do đó, không nào có thể cao tới . Điều thú vị (và khá kỳ lạ), các ràng buộc nắm giữ không chỉ cho , nhưng đối với bất kỳ mức ý nghĩa chúng tôi yêu cầu cho .t p t 2 Φ ( - $n$$t$$p$$t$ΦN(0,1)pt0,5.1573pF=.05$2\Phi(-\sqrt{2}) \approx .1573$$\Phi$$N(0,1)$$p_t$$0.5$$.1573$$p_F=.05$$F$

Cách biện minh như sau: Đối với một phạm vi phương tiện mẫu đã cho, , thống kê lớn nhất có thể đạt được khi một nửa ở một cực trị và nửa còn lại ở cực kia. Điều này thể hiện trường hợp trông có ý nghĩa nhất với hai phương tiện khác nhau nhiều nhất là .F ˉ y i F 2 $\max_{i,j}|\bar y_i - \bar y_j| = 2a$$F$$\bar y_i$$F$$2a$

Vì vậy, không mất tính tổng quát, giả sử rằng sao cho trong trường hợp ranh giới này. Và một lần nữa, không mất tính tổng quát, giả sử rằng , vì chúng ta luôn có thể bán lại dữ liệu cho giá trị này. Bây giờ hãy xem xét nghĩa là (trong đó là đơn giản [nhưng xem ghi chú 1 bên dưới]), chúng ta có . Đặt sao cho , chúng tôi thu được . Khi tất cả là (và vẫn là ), mỗi giá trị khác ˉ y i=±aMSE=1kkF=∑n ˉ y 2/(k-1$\bar y_.=0$$\bar y_i=\pm a$$MS_E=1$$k$$k$ pF=αF=Fα=Fα,k-1,k(n-1)một=$F=\frac{\sum n\bar y^2/(k-1)}{MS_E}= \frac{kna^2}{k-1}$$p_F=\alpha$$F=F_\alpha=F_{\alpha,k-1,k(n-1)}$ ˉyi±aMSE=1tt=2$a =\sqrt{\frac{(k-1)F_\alpha}{kn}}$$\bar y_i$$\pm a$$MS_E=1$$t$Do đó, thống kê là . Đây là giá trị tối đa nhỏ nhất có thể có khi . tF=F$t=\frac{2a}{1\sqrt{2/n}} = \sqrt{\frac{2(k-1)F_\alpha}{k}}$$t$$F=F_\alpha$

Vì vậy, bạn chỉ có thể thử các trường hợp khác nhau của và , tính và liên quan của nó . Nhưng lưu ý rằng với cho , đang giảm trong [nhưng xem ghi chú 3 bên dưới]; hơn nữa, như , ; vì vậy . Lưu ý rằng có nghĩa là và SD . Vì vậy, , bất kển t p t k F α n n → ∞ ( k - 1 ) F α , k - 1 , k ( n - 1 ) → χ 2 α , k - 1 t ≥ t m i n = $k$$n$$t$$p_t$$k$$F_\alpha$$n$$n\rightarrow\infty$$(k-1)F_{\alpha,k-1,k(n-1)} \rightarrow \chi^2_{\alpha,k-1}$ χ2/k= k - $t \ge t_{min} =\sqrt{2\chi^2_{\alpha,k-1}/k}$k-$\chi^2/k=\frac{k-1}k \chi^2/(k-1)$ k-$\frac{k-1}k$ limk→∞tmin=$\frac{k-1}k\cdot\sqrt{\frac2{k-1}}$$\lim_{k\rightarrow\infty}t_{min} = \sqrt{2}$$\alpha$ và kết quả tôi đã nêu trong đoạn đầu tiên ở trên có được từ sự bình thường tiệm cận.

Tuy nhiên, phải mất một thời gian dài để đạt đến giới hạn đó. Dưới đây là kết quả (được tính bằng cách sử dụng R) cho các giá trị khác nhau của , sử dụng :α = $k$$\alpha=.05$

k       t_min    max p_t   [ Really I mean min(max|t|) and max(min p_t)) ]
2       1.960     .0500
4       1.977     .0481   <--  note < .05 !
10      1.840     .0658
100     1.570     .1164
1000    1.465     .1428
10000   1.431     .1526

Một vài kết thúc lỏng lẻo ...

1. Khi k là số lẻ: Thống kê tối đa vẫn xảy ra khi đều là ; tuy nhiên, chúng ta sẽ có thêm một ở một đầu của phạm vi so với đầu kia, làm cho trung bình và bạn có thể chỉ ra rằng yếu tố trong thống kê được thay thế bằng . Điều này cũng thay thế mẫu số của , làm cho nó lớn hơn một chút và do đó giảm .ˉ y i ± a ± a / k k F k - $F$$\bar y_i$$\pm a$$\pm a/k$$k$$F$ tp$k-\frac 1k$$t$$p_t$
2. Unequal s:$n$ F ˉ y i = ± a F N = ∑ n i t n i p t tối đa vẫn đạt được với , với các dấu hiệu được sắp xếp để cân bằng kích thước mẫu gần như bằng nhau nhất có thể. Khi đó, thống kê cho cùng một cỡ mẫu sẽ giống hoặc nhỏ hơn so với dữ liệu cân bằng. Hơn nữa, thống kê tối đa sẽ lớn hơn bởi vì nó sẽ là số liệu có lớn nhất . Vì vậy, chúng ta không thể có được giá trị lớn hơn bằng cách xem xét các trường hợp không cân bằng.$F$$\bar y_i = \pm a$$F$$N = \sum n_i$$t$$n_i$$p_t$
3. Một sự điều chỉnh nhẹ: tôi đã quá tập trung vào việc cố gắng tìm ra tối thiểu mà tôi bỏ qua một thực tế mà chúng ta đang cố gắng để phát huy tối đa , và nó là ít rõ ràng rằng một lớn hơn có ít df sẽ không được ít hơn đáng kể so với một nhỏ với nhiều df hơn. Tuy nhiên, tôi đã xác minh rằng đây là trường hợp bằng cách tính các giá trị cho cho đến khi df đủ cao để tạo ra sự khác biệt nhỏ. Đối với trường hợp Tôi không thấy bất kỳ trường hợp nào mà giá trị không tăng với . Lưu ý rằng vì vậy df có thể là sẽ tăng nhanh khi$t$$p_t$$t$$n=2,3,4,\ldots$$\alpha=.05, k\ge 3$$p_t$$n$$df=k(n-1)$$k,2k,3k,\ldots$$k$là lớn Vì vậy, tôi vẫn đang ở trên mặt đất an toàn với yêu cầu ở trên. Tôi cũng đã kiểm tra và trường hợp duy nhất tôi quan sát thấy vượt quá ngưỡng là .$\alpha=.25$$.1573$$k=3,n=2$