Làm thế nào mạnh mẽ là thử nghiệm t mẫu độc lập khi phân phối của các mẫu là không bình thường?

Tôi đã đọc rằng t -test là "hợp lý mạnh mẽ" khi phân phối của các mẫu khởi hành từ tính quy tắc. Tất nhiên, đó là phân phối mẫu của những khác biệt quan trọng. Tôi có dữ liệu cho hai nhóm. Một trong các nhóm bị sai lệch nhiều về biến phụ thuộc. Cỡ mẫu khá nhỏ đối với cả hai nhóm (n = 33 ở một và 45 ở nhóm kia). Tôi có nên cho rằng, trong những điều kiện này, t- test của tôi sẽ mạnh mẽ để vi phạm các giả định về tính quy tắc?

Các câu hỏi về sự mạnh mẽ rất khó để trả lời tốt - bởi vì các giả định có thể bị vi phạm theo nhiều cách, và theo từng cách ở các mức độ khác nhau. Công việc mô phỏng chỉ có thể lấy mẫu một phần rất nhỏ trong các vi phạm có thể xảy ra.

Với trạng thái của máy tính, tôi nghĩ rằng thường đáng để dành thời gian để chạy cả kiểm tra tham số và kiểm tra không tham số, nếu cả hai đều có sẵn. Sau đó bạn có thể so sánh kết quả.

Nếu bạn thực sự tham vọng, bạn thậm chí có thể làm một bài kiểm tra hoán vị.

Điều gì sẽ xảy ra nếu Alan Turing đã hoàn thành công việc của mình trước khi Ronald Fisher làm việc của mình? :-).

@PeterFlom nhấn móng tay chết với câu đầu tiên của mình.

Tôi sẽ cố gắng đưa ra một bản tóm tắt sơ bộ về những nghiên cứu tôi đã thấy (nếu bạn muốn liên kết thì có thể mất một lúc):

Nhìn chung, hai bài kiểm tra mẫu có sức mạnh hợp lý đến mức không đối xứng (tỷ lệ lỗi loại I thực sự bị ảnh hưởng phần nào bởi sự suy yếu, sức mạnh bị ảnh hưởng chủ yếu bởi điều đó).

Khi hai mẫu bị lệch nhẹ theo cùng một hướng, thử nghiệm t một đầu không còn không thiên vị. Thống kê t bị lệch trái ngược với phân phối và có sức mạnh lớn hơn nhiều nếu thử nghiệm theo một hướng so với khi nó theo hướng khác. Nếu chúng bị lệch theo hướng ngược lại, tỷ lệ lỗi loại I có thể bị ảnh hưởng nặng nề.

Độ lệch nặng có thể có tác động lớn hơn, nhưng nói chung, độ lệch vừa phải với thử nghiệm hai đuôi không quá tệ nếu bạn không quan tâm đến thử nghiệm của mình về bản chất phân bổ nhiều sức mạnh của nó sang hướng khác.

Nói tóm lại - bài kiểm tra t hai mẫu, hai đuôi rất hợp lý đối với những điều đó nếu bạn có thể chịu đựng được một số tác động ở mức ý nghĩa và một số sai lệch nhẹ.

Tuy nhiên, có rất nhiều cách để phân phối không bình thường, tuy nhiên, không được bao phủ bởi những bình luận đó.

@PeterFlom đã đề cập rằng các nghiên cứu mô phỏng không bao giờ có thể bao gồm tất cả các kịch bản và khả năng và do đó không thể dẫn đến một câu trả lời rõ ràng. Tuy nhiên, tôi vẫn thấy hữu ích khi thực sự khám phá một vấn đề như thế này bằng cách thực hiện một số mô phỏng (đây cũng chính xác là loại bài tập mà tôi muốn sử dụng khi giới thiệu ý tưởng nghiên cứu mô phỏng Monte Carlo cho sinh viên). Vì vậy, hãy thực sự thử điều này. Tôi sẽ sử dụng R cho việc này.

Mật mã

n1 <- 33
n2 <- 45
mu1 <- 0
mu2 <- 0
sd1 <- 1
sd2 <- 1

iters <- 100000
p1 <- p2 <- p3 <- p4 <- p5 <- rep(NA, iters)

for (i in 1:iters) {

   ### normal distributions
   x1 <- rnorm(n1, mu1, sd1)
   x2 <- rnorm(n2, mu2, sd2)
   p1[i] <- t.test(x1, x2)$p.value

   ### both variables skewed to the right
   x1 <- (rchisq(n1, df=1) - 1)/sqrt(2) * sd1 + mu1
   x2 <- (rchisq(n2, df=1) - 1)/sqrt(2) * sd2 + mu2
   p2[i] <- t.test(x1, x2)$p.value

   ### both variables skewed to the left
   x1 <- -1 * (rchisq(n1, df=1) - 1)/sqrt(2) * sd1 + mu1
   x2 <- -1 * (rchisq(n2, df=1) - 1)/sqrt(2) * sd2 + mu2
   p3[i] <- t.test(x1, x2)$p.value

   ### first skewed to the left, second skewed to the right
   x1 <- -1 * (rchisq(n1, df=1) - 1)/sqrt(2) * sd1 + mu1
   x2 <- (rchisq(n2, df=1) - 1)/sqrt(2)      * sd2 + mu2
   p4[i] <- t.test(x1, x2)$p.value

   ### first skewed to the right, second skewed to the left
   x1 <- (rchisq(n1, df=1) - 1)/sqrt(2)      * sd1 + mu1
   x2 <- -1 * (rchisq(n2, df=1) - 1)/sqrt(2) * sd2 + mu2
   p5[i] <- t.test(x1, x2)$p.value

}

print(round((apply(cbind(p1, p2, p3, p4, p5), 2, function(p) mean(p <= .05))), 3))

Giải trình

1. Đầu tiên chúng ta đặt kích thước nhóm ( n1và n2), nhóm thực có nghĩa là ( mu1và mu2) và độ lệch chuẩn thực ( sd1và sd2).

2. Sau đó, chúng tôi xác định số lần lặp để chạy và thiết lập các vectơ để lưu trữ giá trị p trong.

3. Sau đó, tôi mô phỏng dữ liệu theo 5 kịch bản:

   1. Cả hai bản phân phối đều bình thường.
   2. Cả hai phân phối bị lệch sang phải.
   3. Cả hai bản phân phối bị lệch sang trái.
   4. Phân phối đầu tiên bị lệch sang trái, phân phối thứ hai sang phải.
   5. Phân phối đầu tiên bị lệch sang phải, phân phối thứ hai sang trái.

   Lưu ý rằng tôi đang sử dụng các phân phối chi bình phương để tạo các phân phối sai lệch. Với một mức độ tự do, đó là những phân phối sai lệch nặng nề. Vì giá trị trung bình và phương sai thực sự của phân phối chi bình phương với một bậc tự do tương ứng bằng 1 và 2 ( xem wikipedia ), tôi hủy bỏ các phân phối đó trước tiên có giá trị 0 và độ lệch chuẩn 1 và sau đó bán lại chúng để có mong muốn trung bình thực và độ lệch chuẩn (điều này có thể được thực hiện trong một bước, nhưng thực hiện theo cách này có thể rõ ràng hơn).

4. Trong mỗi trường hợp, tôi áp dụng thử nghiệm t (phiên bản của Welch - tất nhiên người ta cũng có thể xem xét phiên bản của Học sinh có giả định phương sai bằng nhau trong hai nhóm) và lưu giá trị p vào các vectơ được thiết lập trước đó.

5. Cuối cùng, khi tất cả các lần lặp hoàn thành, tôi tính toán cho mỗi vectơ tần suất giá trị p bằng hoặc dưới 0,05 (nghĩa là thử nghiệm là "đáng kể"). Đây là tỷ lệ từ chối theo kinh nghiệm.

Một số kết quả

1. Mô phỏng chính xác như mô tả ở trên năng suất:

      p1    p2    p3    p4    p5 
   0.049 0.048 0.047 0.070 0.070
   

   $\alpha = .05$

2. Nếu chúng ta thay đổi mã thành mu1 <- .5, thì chúng ta sẽ nhận được:

      p1    p2    p3    p4    p5 
   0.574 0.610 0.606 0.592 0.602
   

   Vì vậy, so với trường hợp cả hai phân phối đều bình thường (như giả định của thử nghiệm), công suất thực sự có vẻ cao hơn một chút khi độ lệch cùng hướng! Nếu bạn ngạc nhiên về điều này, bạn có thể muốn chạy lại điều này một vài lần (tất nhiên, mỗi lần nhận được kết quả hơi khác nhau), nhưng mô hình sẽ vẫn còn.

   Lưu ý rằng chúng ta phải cẩn thận với việc diễn giải các giá trị công suất theo kinh nghiệm trong hai trường hợp có độ lệch ở hai hướng ngược nhau, vì tỷ lệ lỗi Loại I không hoàn toàn là danh nghĩa (như một trường hợp cực đoan, giả sử tôi luôn từ chối bất kể dữ liệu là gì cho thấy, sau đó tôi sẽ luôn có một bài kiểm tra với sức mạnh tối đa, nhưng tất nhiên bài kiểm tra cũng có tỷ lệ lỗi Loại I khá cao).

Người ta có thể bắt đầu khám phá một loạt các giá trị cho mu1(và mu2- nhưng điều thực sự quan trọng là sự khác biệt giữa hai) và quan trọng hơn là bắt đầu thay đổi độ lệch chuẩn thực sự của hai nhóm (nghĩa là sd1và sd2) và đặc biệt là làm cho chúng không bằng nhau. Tôi cũng bị mắc kẹt với các kích thước mẫu được đề cập bởi OP, nhưng tất nhiên điều đó cũng có thể được điều chỉnh. Và sự sai lệch tất nhiên có thể có nhiều hình thức khác ngoài những gì chúng ta thấy trong một phân phối chi bình phương với một mức độ tự do. Tôi vẫn nghĩ rằng tiếp cận mọi thứ theo cách này là hữu ích, mặc dù thực tế là nó không thể mang lại một câu trả lời chắc chắn.

Trong tình huống của bạn, kiểm tra t có thể sẽ mạnh mẽ về tỷ lệ lỗi Loại I, nhưng không phải là tỷ lệ lỗi Loại II. Bạn có thể sẽ đạt được nhiều sức mạnh hơn thông qua a) một bài kiểm tra Kruskal-Wallis hoặc b) một phép biến đổi chuẩn hóa trước khi kiểm tra t.

Tôi đang dựa trên kết luận này về hai nghiên cứu ở Monte Carlo. Trong lần đầu tiên ( Khan & Rayner, 2003 ), xiên và kurtosis được điều khiển gián tiếp thông qua các tham số của họ phân phối g-and-k, và sức mạnh kết quả đã được kiểm tra. Quan trọng hơn, sức mạnh của bài kiểm tra Kruskal- Wallis ít bị tổn hại bởi tính phi quy tắc, đặc biệt là với n> = 15.

Một vài lưu ý / trình độ về nghiên cứu này: Sức mạnh thường bị tổn thương do nhiễm trùng cao, nhưng nó ít bị ảnh hưởng bởi xiên. Thoạt nhìn, mô hình này có vẻ ít liên quan đến tình huống của bạn do bạn đã lưu ý một vấn đề với độ lệch, không phải là sự suy yếu. Tuy nhiên, tôi cá rằng kurtosis dư thừa cũng cực kỳ trong trường hợp của bạn. Hãy nhớ rằng mức độ tổn thương dư thừa ít nhất sẽ cao bằng độ lệch ^ 2 - 2. (Đặt mức độ tổn thương dư thừa bằng thời điểm chuẩn hóa thứ 4 trừ đi 3, sao cho mức độ tổn thương dư thừa = 0 cho phân phối bình thường.) Cũng lưu ý rằng Khan và Rayner ( 2003) đã kiểm tra ANOVAs với 3 nhóm, nhưng kết quả của họ có khả năng tổng quát thành thử nghiệm t hai mẫu.

Một nghiên cứu có liên quan thứ hai ( Beasley, Erikson, & Allison, 2009) đã kiểm tra cả lỗi Loại I và Loại II với các bản phân phối không bình thường khác nhau, chẳng hạn như Chi bình phương (1) và Weibull (1, .5). Đối với kích thước mẫu ít nhất là 25, thử nghiệm t kiểm soát đầy đủ tỷ lệ lỗi Loại I ở hoặc dưới mức alpha danh nghĩa. Tuy nhiên, sức mạnh là cao nhất với bài kiểm tra Kruskal-Wallis hoặc với phép biến đổi nghịch đảo dựa trên xếp hạng (điểm số Blom) được áp dụng trước bài kiểm tra t. Beasley và các đồng nghiệp thường lập luận chống lại phương pháp bình thường hóa, nhưng cần lưu ý rằng phương pháp bình thường hóa kiểm soát tỷ lệ lỗi Loại I cho n> = 25, và sức mạnh của nó đôi khi vượt quá một chút so với thử nghiệm Kruskal-Wallis. Đó là, phương pháp bình thường hóa có vẻ hứa hẹn cho tình huống của bạn. Xem bảng 1 và 4 trong bài viết của họ để biết chi tiết.

Tài liệu tham khảo:

Khan, A., & Rayner, GD (2003) . Tính mạnh mẽ đối với tính không quy tắc của các thử nghiệm phổ biến đối với bài toán vị trí nhiều mẫu. Tạp chí toán học ứng dụng và khoa học quyết định, 7 , 187-206.

Beasley, TM, Erickson, S., & Allison, DB (2009) . Biến đổi nghịch đảo bình thường dựa trên xếp hạng ngày càng được sử dụng, nhưng chúng có công không? Di truyền học hành vi, 39 , 580-595.

Trước hết, nếu bạn cho rằng phân phối của hai mẫu là khác nhau, hãy đảm bảo rằng bạn đang sử dụng phiên bản thử nghiệm t của Welch, giả định phương sai không đồng đều giữa các nhóm. Điều này ít nhất sẽ cố gắng giải thích cho một số khác biệt xảy ra do phân phối.

Nếu chúng ta nhìn vào công thức cho bài kiểm tra t của người xứ Wales:

$s_{\overline{X}_1 - \overline{X}_2}$

chúng ta có thể thấy rằng bất cứ khi nào có một s chúng ta đều biết rằng phương sai đang được tính đến. Chúng ta hãy tưởng tượng rằng hai phương sai trên thực tế là giống nhau, nhưng một phương sai, dẫn đến một ước tính phương sai khác nhau. Nếu ước tính phương sai này không thực sự đại diện cho dữ liệu của bạn do sai lệch, thì về cơ bản, hiệu ứng sai lệch sẽ là căn bậc hai của sai lệch đó chia cho số điểm dữ liệu được sử dụng để tính toán. Do đó, ảnh hưởng của các ước lượng xấu của phương sai bị bóp nghẹt một chút bởi căn bậc hai và n cao hơn, và đó có lẽ là lý do tại sao sự đồng thuận là nó vẫn là một thử nghiệm mạnh mẽ.

Vấn đề khác của phân phối lệch là tính toán trung bình cũng sẽ bị ảnh hưởng và đây có lẽ là vấn đề thực sự của vi phạm giả định kiểm tra là do phương tiện tương đối nhạy cảm với độ lệch. Và độ mạnh của thử nghiệm có thể được xác định một cách đại khái bằng cách tính toán sự khác biệt về phương tiện, so với sự khác biệt về trung vị (như một ý tưởng). Có lẽ bạn thậm chí có thể thử thay thế sự khác biệt về phương tiện bằng sự khác biệt về trung vị trong bài kiểm tra t như một biện pháp mạnh mẽ hơn (tôi chắc chắn ai đó đã thảo luận về điều này nhưng tôi không thể tìm thấy một cái gì đó trên google đủ nhanh để liên kết đến).

Tôi cũng đề nghị chạy thử nghiệm hoán vị nếu tất cả những gì bạn đang làm là kiểm tra t. Thử nghiệm hoán vị là một thử nghiệm chính xác, không phụ thuộc vào các giả định phân phối. Quan trọng nhất, các thử nghiệm hoán vị và thử nghiệm t sẽ dẫn đến kết quả giống hệt nhau nếu các giả định của thử nghiệm tham số được đáp ứng . Do đó, thước đo độ mạnh mà bạn tìm kiếm có thể là 1 - sự khác biệt giữa giá trị p hoán vị và kiểm tra t, trong đó điểm 1 ngụ ý độ mạnh hoàn hảo và 0 ngụ ý không mạnh mẽ chút nào.