Post-hocs cho các bài kiểm tra trong môn học?


20

Phương pháp ưa thích để tiến hành hậu hocs cho các bài kiểm tra trong môn học là gì? Tôi đã thấy tác phẩm được xuất bản nơi HSD của Tukey được sử dụng nhưng đánh giá của Keppel và Maxwell & Delaney cho thấy rằng khả năng vi phạm tính toàn cầu trong các thiết kế này làm cho thuật ngữ lỗi không chính xác và cách tiếp cận này có vấn đề. Maxwell & Delaney cung cấp một cách tiếp cận vấn đề trong cuốn sách của họ, nhưng tôi chưa bao giờ thấy nó được thực hiện theo cách đó trong bất kỳ gói thống kê nào. Là cách tiếp cận họ cung cấp phù hợp? Liệu hiệu chỉnh Bonferroni hoặc Sidak trên nhiều bài kiểm tra mẫu thử cặp có hợp lý không? Một câu trả lời chấp nhận được sẽ cung cấp mã R chung có thể thực hiện các post-hocs trên các thiết kế đơn giản, đa chiều và hỗn hợp như được sản xuất bởi ezANOVAchức năng trong ezgói và các trích dẫn thích hợp có khả năng vượt qua người kiểm duyệt.


1
Bài viết này của David Howell giải thích các vấn đề và một số giải pháp.
Harvey Motulsky

khi bạn chấp nhận câu trả lời bằng gói multcomp, bạn có thể giải thích một chút về cách cuối cùng bạn đã sử dụng multcomp. Bạn đang sử dụng nó với lmehoặc lmerchức năng hoặc với một số phương pháp truyền thống hơn như t-test hoặc ANOVA (như tôi hiện đang cố gắng sử dụng nó với ANOVAs).
Henrik

Tôi chấp nhận câu trả lời nhiều lần chủ yếu vì tôi hoàn toàn không hài lòng với các kỹ thuật điều chỉnh giá trị p mà cộng đồng đã chọn là câu trả lời "đúng". Tôi liếc nhìn nó và nó có vẻ đầy hứa hẹn, nhưng tôi đã không điều tra thêm. Tôi muốn nghe nhiều hơn về những gì bạn đang cố gắng và những gì bạn đang tìm hiểu.
russellpierce

Tôi đã tìm thấy cách chỉ định ANOVA đo lặp lại bằng cách sử dụng lme, xem các nhận xét cho câu trả lời được chấp nhận: stats.stackexchange.com/q/14088/442 Với một đối tượng của lớp lmebạn có thể sử dụng multcompcho các hiệu ứng bên trong chủ đề. Nó cung cấp các loại điều chỉnh lỗi alpha khác nhau, nhưng chủ yếu là những điều bạn không đặc biệt thích (như cách tôi đề xuất đã được cộng đồng bình chọn là "quyền"). Bên cạnh các họa tiết, cũng có một cuốn sách về multcompgiải thích tất cả các phương pháp. Nếu bạn muốn post-hocs mà không cần điều chỉnh, hãy sử dụng fit.contrasttừ gmodelhoặc contrastgói mới .
Henrik

Bạn vẫn quan tâm đến một giải pháp cho ezANOVAchức năng? Nếu vậy, tôi nghĩ rằng tôi có thể trả lời rằng Q nhưng A sẽ dựa vào các thử nghiệm cho các mô hình đơn biến mà tính toàn cầu là một giả định quan trọng. Nếu bạn không cần A bị ràng buộc với các tính toán ANOVA của ezgói, tôi có thể đưa ra một A sử dụng các mô hình đa biến cho các bài kiểm tra sau đại học.
statmerkur

Câu trả lời:



21

Tôi hiện đang viết một bài báo trong đó tôi có niềm vui để tiến hành so sánh giữa và trong các đối tượng. Sau khi thảo luận với người giám sát của mình, chúng tôi quyết định chạy t- tests và sử dụng khá đơn giản Holm-Bonferroni method( wikipedia ) để sửa lỗi tích lũy lỗi alpha. Nó kiểm soát tỷ lệ lỗi gia đình nhưng có sức mạnh lớn hơn thủ tục Bonferroni thông thường. Thủ tục:

  1. Bạn chạy các t- tests cho tất cả các so sánh bạn muốn làm.
  2. Bạn đặt giá trị p theo giá trị của chúng.
  3. Bạn kiểm tra giá trị p nhỏ nhất so với alpha / k , nhỏ nhất so với alpha / ( k - 1) và cứ thế cho đến khi thử nghiệm đầu tiên hóa ra không có ý nghĩa trong chuỗi thử nghiệm này.

Cite Holm (1979) có thể được tải xuống thông qua liên kết tại wikipedia .


1
có thể là ANOVA trước nhiều thử nghiệm?
stan

2
Tôi nghĩ rằng điều đó đã được ngụ ý bởi câu trả lời. Bạn thực hiện các bài kiểm tra sau hoc sau ANOVA có ý nghĩa.
Henrik

2
@Henrik: Tôi hy vọng tôi không đánh bại một con ngựa chết ở đây ... bằng cách đăng lên một bài viết cũ. Vì vậy, tôi có một câu hỏi về cách bạn chạy các bài kiểm tra t. Bạn đã sử dụng phương sai gộp (từ ANOVA) hay đơn giản là bạn đã thực hiện các bài kiểm tra cặp đôi độc lập? Lý do tôi hỏi điều này là vì tôi đã cố gắng sử dụng pairwise.t.test()để so sánh từng cặp bằng phương pháp Bonferroni hoặc phương pháp Holm-Bonf, nhưng kết quả khác nhau tùy thuộc vào việc tôi sử dụng sd gộp hay coi mỗi so sánh là một t riêng biệt, độc lập -kiểm tra. Cảm ơn!
Alex

2
@Alex: Sử dụng phương pháp 'được bảo vệ' trong đó các bài kiểm tra t chỉ được thực hiện sau khi ANOVA có ý nghĩa hàm ý sử dụng thuật ngữ lỗi gộp. Tuy nhiên, vì đây không phải là một tùy chọn thường xuyên được cung cấp bởi phần mềm thống kê, mọi người có xu hướng không làm điều đó. Hơn nữa, ở mức độ phạm vi bị xâm phạm, đó là một điều đáng nghi ngờ phải làm ngay từ đầu.
russellpierce

5

Tôi nhớ lại một số cuộc thảo luận về điều này trong quá khứ; Tôi không biết về bất kỳ triển khai phương pháp nào của Maxwell & Delaney, mặc dù điều đó không quá khó để thực hiện. Hãy xem " Các biện pháp lặp lại ANOVA bằng R " cũng cho thấy một phương pháp giải quyết vấn đề hình cầu trong HSD của Tukey .

Bạn cũng có thể tìm thấy mô tả về thử nghiệm quan tâm của Friedman .


Cảm ơn, tôi nghĩ rằng bài kiểm tra Friedman rất thú vị, nhưng tôi hoàn toàn không thể hiểu được cách thực hiện điều chỉnh đó đối với lỗi Loại I trong bài hậu hoc. Các ý kiến ​​nói rằng đó là một "thử nghiệm Wilcoxon-Nemenyi-McDonald-Thompson" nhưng tôi chưa bao giờ nghe về điều đó trước khi bạn có thể giải thích nó?
russellpierce

@Shane Liên kết đầu tiên đã chết :-(
Adam Ryczkowski

2

Có HAI tùy chọn cho các thử nghiệm F suy luận trong SPSS. Đa biến KHÔNG giả định tính toàn cầu, vì vậy, sử dụng một mối tương quan cặp khác nhau cho mỗi cặp biến. "Các thử nghiệm về hiệu ứng bên trong đối tượng", bao gồm bất kỳ thử nghiệm hậu hoc nào, giả định tính toàn cầu và thực hiện một số chỉnh sửa để sử dụng một mối tương quan phổ biến trong tất cả các thử nghiệm. Các thủ tục này là một di sản của thời đại khi tính toán tốn kém và lãng phí thời gian với các cơ sở tính toán hiện đại.

Đề nghị của tôi là dùng omnibus MULTIVariATE F cho bất kỳ biện pháp lặp đi lặp lại. Sau đó theo dõi với bài kiểm tra t-post cặp đôi hoặc ANOVA chỉ với 2 cấp độ trong mỗi lần so sánh đo lặp lại nếu có cả các yếu tố chủ thể. Tôi sẽ thực hiện chỉnh sửa bon ferroni đơn giản để chia mức độ alpha cho số lượng thử nghiệm.

Ngoài ra hãy chắc chắn xem kích thước hiệu ứng [có sẵn trong hộp thoại tùy chọn]. Kích thước hiệu ứng lớn gần với mức đáng kể có thể đáng chú ý hơn [và các thử nghiệm trong tương lai] so với các hiệu ứng nhỏ nhưng quan trọng.

Một cách tiếp cận tinh vi hơn có sẵn trong quy trình SPSS MIXED, và trong các gói [nhưng miễn phí] thân thiện với người dùng hơn như R.

Tóm tắt, trong SPSSS, F đa biến theo sau là các bài đăng cặp đôi với Bon Ferroniwith Bonferroni nên đủ cho hầu hết các nhu cầu.


0

Tôi sẽ sử dụng hàm R qtukey (1-alpha, có nghĩa là, df) để tạo ra các TCTD thông minh cho gia đình.

tbạnkey0,05,4,16 = 4.046093.

MSErrorTukeyk,df=Maxj=1,2,,k{zj}Minj=1,2,,k{zj}χdf2/df=Rangej=1,2,,k{MjμjσM}SEM/σM=Rangej=1,2,,k{Mjμj}SEM=Max1j1,j2k{|(Mj1μj1)(Mj2μj2)|}SEM=Max1j1,j2k{|(Mj1Mj2)(μj1μj2)|}SEM

Bán kính của các TCTD 1-a khôn ngoan trong gia đình là SEM×tbạnkeyα,4,16= =MSError5×tbạnkeyα,4,16 bởi vì--

{Tbạnkeyk,dftbạnkey0,05,4,16}= ={Mmộtx1j1,j2k{|(Mj1-Mj2)-(μj1-μj2)|}SEMtbạnkey0,05,4,16}= =1j1,j2k{|(Mj1-Mj2)-(μj1-μj2)|SEM×tbạnkey0,05,4,16}

Đưa ra một thiết kế bên trong chủ đề với k = 4 cấp độ, 17 cỡ mẫu, ví dụ: (17-1) = 16 df cho MSErrorXi,j=(μj+vi)+εi,j=X~i,j+εi,j, the radius of family-wise (1-α) CIs is MSError/17×tukeyα,4,16 because--

Tukeyk,df=Maxj=1,2,,k{zj}Minj=1,2,,k{zj}χdf2/df=Rangej=1,2,,k{Mean1in{X~i,j+εi,j}Mean1in{X~i,j}σMean1in{εi,j}}σ^Mean1in{εi,j}/σMean1in{εi,j}=Rangej=1,2,,k{Mj(μj+Mean1in{vi})}σ^Mean1in{εi,j}=Rangej=1,2,,k{Mjμj}MSError/n=Max1j1,j2k{|(Mj1Mj2)(μj1μj2)|}MSError/n

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.