Thực hiện kiểm tra hoán vị nào trong R để sử dụng thay cho kiểm tra t (ghép và không ghép)?

Tôi có dữ liệu từ một thí nghiệm mà tôi đã phân tích bằng các bài kiểm tra t. Biến phụ thuộc là khoảng cách được chia tỷ lệ và dữ liệu không được ghép đôi (nghĩa là 2 nhóm) hoặc được ghép nối (nghĩa là bên trong chủ thể). Ví dụ (trong các môn học):

x1 <- c(99, 99.5, 65, 100, 99, 99.5, 99, 99.5, 99.5, 57, 100, 99.5, 
        99.5, 99, 99, 99.5, 89.5, 99.5, 100, 99.5)
y1 <- c(99, 99.5, 99.5, 0, 50, 100, 99.5, 99.5, 0, 99.5, 99.5, 90, 
        80, 0, 99, 0, 74.5, 0, 100, 49.5)

Tuy nhiên, dữ liệu không bình thường nên một người đánh giá đã yêu cầu chúng tôi sử dụng một cái gì đó ngoài bài kiểm tra t. Tuy nhiên, như người ta có thể dễ dàng nhìn thấy, dữ liệu không chỉ không được phân phối bình thường mà các phân phối không bằng nhau giữa các điều kiện:

Do đó, các phép thử không tham số thông thường, Thử nghiệm Mann-Whitney-U (không ghép đôi) và Thử nghiệm Wilcoxon (ghép nối), không thể được sử dụng vì chúng yêu cầu phân phối bằng nhau giữa các điều kiện. Do đó, tôi quyết định rằng một số thử nghiệm lấy mẫu lại hoặc hoán vị sẽ là tốt nhất.

Bây giờ, tôi đang tìm kiếm một triển khai R của một phép thử tương đương dựa trên hoán vị, hoặc bất kỳ lời khuyên nào khác về việc phải làm gì với dữ liệu.

Tôi biết rằng có một số gói R có thể làm điều này cho tôi (ví dụ: coin, perm, precisionRankTest, v.v.), nhưng tôi không biết nên chọn gói nào. Vì vậy, nếu ai đó có một số kinh nghiệm sử dụng các thử nghiệm này có thể cho tôi một khởi đầu, đó sẽ là ubercool.

CẬP NHẬT: Sẽ thật lý tưởng nếu bạn có thể cung cấp một ví dụ về cách báo cáo kết quả từ bài kiểm tra này.

Không nên quan trọng lắm vì thống kê kiểm tra sẽ luôn là sự khác biệt về phương tiện (hoặc một cái gì đó tương đương). Sự khác biệt nhỏ có thể đến từ việc thực hiện các phương pháp Monte-Carlo. Thử ba gói với dữ liệu của bạn bằng thử nghiệm một phía cho hai biến độc lập:

DV <- c(x1, y1)
IV <- factor(rep(c("A", "B"), c(length(x1), length(y1))))
library(coin)                    # for oneway_test(), pvalue()
pvalue(oneway_test(DV ~ IV, alternative="greater", 
                   distribution=approximate(B=9999)))
[1] 0.00330033

library(perm)                    # for permTS()
permTS(DV ~ IV, alternative="greater", method="exact.mc", 
       control=permControl(nmc=10^4-1))$p.value
[1] 0.003

library(exactRankTests)          # for perm.test()
perm.test(DV ~ IV, paired=FALSE, alternative="greater", exact=TRUE)$p.value
[1] 0.003171822

Để kiểm tra giá trị p chính xác bằng cách tính toán thủ công tất cả các hoán vị, tôi sẽ giới hạn dữ liệu ở 9 giá trị đầu tiên.

x1 <- x1[1:9]
y1 <- y1[1:9]
DV <- c(x1, y1)
IV <- factor(rep(c("A", "B"), c(length(x1), length(y1))))
pvalue(oneway_test(DV ~ IV, alternative="greater", distribution="exact"))
[1] 0.0945907

permTS(DV ~ IV, alternative="greater", exact=TRUE)$p.value
[1] 0.0945907

# perm.test() gives different result due to rounding of input values
perm.test(DV ~ IV, paired=FALSE, alternative="greater", exact=TRUE)$p.value
[1] 0.1029412

# manual exact permutation test
idx  <- seq(along=DV)                 # indices to permute
idxA <- combn(idx, length(x1))        # all possibilities for different groups

# function to calculate difference in group means given index vector for group A
getDiffM <- function(x) { mean(DV[x]) - mean(DV[!(idx %in% x)]) }
resDM    <- apply(idxA, 2, getDiffM)  # difference in means for all permutations
diffM    <- mean(x1) - mean(y1)       # empirical differencen in group means

# p-value: proportion of group means at least as extreme as observed one
(pVal <- sum(resDM >= diffM) / length(resDM))
[1] 0.0945907

coinvà exactRankTestscả hai từ cùng một tác giả, nhưng coindường như tổng quát và sâu rộng hơn - cũng về mặt tài liệu. exactRankTestskhông được tích cực phát triển nữa. Do đó, tôi sẽ chọn coin(cũng vì các chức năng thông tin như support()), trừ khi bạn không muốn xử lý các đối tượng S4.

EDIT: cho hai biến phụ thuộc, cú pháp là

id <- factor(rep(1:length(x1), 2))    # factor for participant
pvalue(oneway_test(DV ~ IV | id, alternative="greater",
                   distribution=approximate(B=9999)))
[1] 0.00810081

Một vài ý kiến ​​là, tôi tin, theo thứ tự.

1) Tôi khuyến khích bạn thử nhiều màn hình hiển thị dữ liệu của bạn, bởi vì chúng có thể ghi lại những thứ bị mất bởi biểu đồ (như biểu đồ) và tôi cũng khuyên bạn nên vẽ theo trục bên cạnh. Trong trường hợp này, tôi không tin rằng biểu đồ làm rất tốt việc truyền đạt các tính năng nổi bật của dữ liệu của bạn. Ví dụ: hãy xem các ô vuông cạnh nhau:

boxplot(x1, y1, names = c("x1", "y1"))

Hoặc thậm chí là thoát y bên cạnh:

stripchart(c(x1,y1) ~ rep(1:2, each = 20), method = "jitter", group.names = c("x1","y1"), xlab = "")

$x1$$y1$$x1$$y1$$x1$$y1$$y1$

2) Bạn đã không giải thích chi tiết về việc dữ liệu của bạn đến từ đâu, cũng như cách chúng được đo, nhưng thông tin này rất quan trọng khi đến lúc phải chọn một quy trình thống kê. Hai mẫu trên của bạn có độc lập không? Có bất kỳ lý do nào để tin rằng các phân phối biên của hai mẫu phải giống nhau (ngoại trừ sự khác biệt về vị trí chẳng hạn) không? Những cân nhắc trước khi nghiên cứu khiến bạn tìm kiếm bằng chứng về sự khác biệt giữa hai nhóm là gì?

$z$$p$$p$

$p$

5) Theo tôi, những dữ liệu này là một ví dụ hoàn hảo (?) Rằng một bức ảnh được chọn tốt có giá trị 1000 bài kiểm tra giả thuyết. Chúng tôi không cần số liệu thống kê để cho biết sự khác biệt giữa bút chì và chuồng. Tuyên bố phù hợp theo quan điểm của tôi đối với những dữ liệu này sẽ là "Những dữ liệu này thể hiện sự khác biệt rõ rệt về vị trí, tỷ lệ và hình dạng." Bạn có thể theo dõi với các thống kê mô tả (mạnh mẽ) cho từng số liệu để định lượng sự khác biệt và giải thích sự khác biệt có ý nghĩa gì trong bối cảnh nghiên cứu ban đầu của bạn.

$p$$p$

Câu trả lời này dài hơn nhiều so với dự định ban đầu của tôi. Xin lỗi vì điều đó.

Nhận xét của tôi không phải là về việc thực hiện thử nghiệm hoán vị mà là về các vấn đề tổng quát hơn được đưa ra bởi các dữ liệu này và thảo luận về nó, đặc biệt là bài đăng của G. Jay Kerns.

Hai bản phân phối thực sự trông khá giống với tôi NGOẠI TRỪ đối với nhóm 0 trong Y1, khác nhiều so với các quan sát khác trong mẫu đó (nhỏ nhất tiếp theo là khoảng 50 trên thang điểm 0-100) cũng như tất cả những người trong X1. Trước tiên tôi sẽ điều tra xem liệu có bất cứ điều gì khác biệt về những quan sát đó không.

Thứ hai, giả sử những số 0 đó thuộc về phân tích, nói rằng phép thử hoán vị không hợp lệ vì các phân phối dường như khác nhau đặt ra câu hỏi. Nếu null là đúng (các bản phân phối giống hệt nhau), bạn có thể (với xác suất hợp lý) có thể nhận các bản phân phối trông khác nhau như hai bản này không? Trả lời đó là toàn bộ vấn đề của bài kiểm tra, phải không? Có thể trong trường hợp này, một số người sẽ xem xét câu trả lời rõ ràng mà không cần chạy thử nghiệm, nhưng với những phân phối nhỏ, kỳ dị này, tôi không nghĩ mình sẽ làm thế.

Khi câu hỏi này xuất hiện trở lại, tôi có thể thêm một câu trả lời khác lấy cảm hứng từ một bài đăng trên blog gần đây thông qua R-Bloggers từ Robert Kabacoff, tác giả của Quick-R và R in Action bằng cách sử dụng lmPermgói.

Tuy nhiên, phương pháp này tạo ra kết quả tương phản mạnh (và rất không ổn định) với kết quả được tạo bởi coingói trong câu trả lời của @caracakl (giá trị p của phân tích bên trong đối tượng là 0.008). Phân tích cũng chuẩn bị dữ liệu từ câu trả lời của @ caracal:

x1 <- c(99, 99.5, 65, 100, 99, 99.5, 99, 99.5, 99.5, 57, 100, 99.5, 
        99.5, 99, 99, 99.5, 89.5, 99.5, 100, 99.5)
y1 <- c(99, 99.5, 99.5, 0, 50, 100, 99.5, 99.5, 0, 99.5, 99.5, 90, 
        80, 0, 99, 0, 74.5, 0, 100, 49.5)

DV <- c(x1, y1)
IV <- factor(rep(c("A", "B"), c(length(x1), length(y1))))
id <- factor(rep(1:length(x1), 2)) 

library(lmPerm)

summary(aovp( DV ~ IV + Error(id)))

sản xuất:

> summary(aovp( DV ~ IV + Error(id)))
[1] "Settings:  unique SS "

Error: id
Component 1 :
          Df R Sum Sq R Mean Sq
Residuals 19    15946       839


Error: Within
Component 1 :
          Df R Sum Sq R Mean Sq Iter Pr(Prob)  
IV         1     7924      7924 1004    0.091 .
Residuals 19    21124      1112                
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Nếu bạn chạy này nhiều lần, các giá trị p sẽ nhảy trong khoảng từ ~ .05 đến ~ .1.

Mặc dù đây là câu trả lời cho câu hỏi, cho phép tôi đặt câu hỏi ở cuối (tôi có thể chuyển câu hỏi này sang câu hỏi mới nếu muốn):
Mọi ý tưởng về lý do tại sao phân tích này không ổn định và tạo ra giá trị p rất khác nhau phân tích tiền xu? Tôi đã làm gì sai sao?

Là những tỷ lệ điểm số? Nếu vậy, bạn chắc chắn không nên sử dụng thử nghiệm tham số gaussian và trong khi bạn có thể tiếp tục với cách tiếp cận không tham số như thử nghiệm hoán vị hoặc bootstrap của phương tiện, tôi khuyên bạn nên có thêm sức mạnh thống kê sử dụng một cách tiếp cận tham số không gaussian thích hợp. Cụ thể, bất cứ khi nào bạn có thể tính toán một tỷ lệ tỷ lệ trong một đơn vị quan tâm (ví dụ: người tham gia trong một thử nghiệm), bạn có thể và có thể nên sử dụng mô hình hiệu ứng hỗn hợp chỉ định các quan sát với lỗi phân phối nhị phân. Xem Dixon 2004 .

Chỉ cần thêm một cách tiếp cận khác, ezPermcủa ezgói:

> # preparing the data
> DV <- c(x1, y1)
> IV <- factor(rep(c("A", "B"), c(length(x1), length(y1))))
> id <- factor(rep(1:length(x1), 2))
> df <- data.frame(id=id,DV=DV,IV=IV)
>
> library(ez)
> ezPerm( data = df, dv = DV, wid = id, within = IV, perms = 1000)
|=========================|100%              Completed after 17 s 
  Effect     p p<.05
1     IV 0.016     *

Điều này có vẻ phù hợp với oneway_testcác coingói:

> library(coin)
> pvalue(oneway_test(DV ~ IV | id,  distribution=approximate(B=999999)))
[1] 0.01608002
99 percent confidence interval:
 0.01575782 0.01640682

Tuy nhiên, lưu ý rằng đây không phải là ví dụ tương tự được cung cấp bởi @caracal . Trong ví dụ của mình, anh ta bao gồm alternative="greater", do đó, sự khác biệt về giá trị p ~0.008so với ~0.016.

Các aovpgói đề xuất trong một trong các câu trả lời sản xuất p-giá trị nghi ngờ thấp hơn, và chạy một cách nghi ngờ nhanh ngay cả khi tôi cố gắng giá trị cao cho Iter, Cavà maxIterlập luận:

library(lmPerm)
summary(aovp(DV ~ IV + Error(id/IV), data=df,  maxIter = 1000000000))
summary(aovp(DV ~ IV + Error(id/IV), data=df,  Iter = 1000000000))
summary(aovp(DV ~ IV + Error(id/IV), data=df,  Ca = 0.00000000001))

Điều đó nói rằng, các đối số dường như giảm nhẹ các biến thể của giá trị p từ ~.03và ~.1(tôi đã nhận được một phạm vi lớn hơn mà báo cáo của @Henrik), 0.03và 0.07.