Là tập dữ liệu lớn không phù hợp để kiểm tra giả thuyết?

Trong một bài báo gần đây của Amstat News , các tác giả (Mark van der Laan và Sherri Rose) đã tuyên bố rằng "Chúng tôi biết rằng đối với các cỡ mẫu đủ lớn, mọi nghiên cứu bao gồm cả những giả thuyết không có hiệu lực là không đúng - sẽ tuyên bố có ý nghĩa thống kê. ".

Chà, tôi không biết điều đó. Điều này có đúng không? Có nghĩa là kiểm tra giả thuyết là vô giá trị đối với các tập dữ liệu lớn?

Không phải như vậy. Nếu giả thuyết null là đúng thì nó sẽ không bị từ chối thường xuyên hơn ở cỡ mẫu lớn hơn nhỏ. Có một tỷ lệ loại bỏ sai lầm thường được đặt thành 0,05 (alpha) nhưng nó không phụ thuộc vào cỡ mẫu. Do đó, thực hiện theo nghĩa đen tuyên bố là sai. Tuy nhiên, có thể trong một số trường hợp (thậm chí toàn bộ các trường), tất cả các giá trị null đều sai và do đó tất cả sẽ bị từ chối nếu N đủ cao. Nhưng đây có phải là một điều xấu?

Điều đúng là các hiệu ứng nhỏ không đáng kể có thể được tìm thấy là "đáng kể" với kích thước mẫu rất lớn. Điều đó không cho thấy rằng bạn không nên có kích thước mẫu lớn như vậy. Điều đó có nghĩa là cách bạn diễn giải phát hiện của mình phụ thuộc vào kích thước hiệu ứng và độ nhạy của xét nghiệm. Nếu bạn có kích thước hiệu ứng rất nhỏ và thử nghiệm có độ nhạy cao, bạn phải nhận ra rằng phát hiện có ý nghĩa thống kê có thể không có ý nghĩa hoặc hữu ích.

Do một số người không tin rằng một bài kiểm tra giả thuyết null, khi null là đúng , luôn có tỷ lệ lỗi bằng với điểm cắt được chọn cho bất kỳ kích thước mẫu nào, đây là một mô phỏng đơn giản để Rchứng minh điểm. Làm cho N lớn như bạn muốn và tỷ lệ lỗi Loại I sẽ không đổi.

# number of subjects in each condition
n <- 100
# number of replications of the study in order to check the Type I error rate
nsamp <- 10000

ps <- replicate(nsamp, {
    #population mean = 0, sd = 1 for both samples, therefore, no real effect
    y1 <- rnorm(n, 0, 1) 
    y2 <- rnorm(n, 0, 1)
    tt <- t.test(y1, y2, var.equal = TRUE)
    tt$p.value
})
sum(ps < .05) / nsamp

# ~ .05 no matter how big n is. Note particularly that it is not an increasing value always finding effects when n is very large.

Tôi đồng ý với các câu trả lời đã xuất hiện, nhưng muốn thêm rằng có lẽ câu hỏi có thể được chuyển hướng. Có nên kiểm tra một giả thuyết hay không là một câu hỏi nghiên cứu, ít nhất là nói chung, không phụ thuộc vào số lượng dữ liệu mà người ta có. Nếu bạn thực sự cần kiểm tra một giả thuyết, hãy làm như vậy và đừng sợ khả năng phát hiện các hiệu ứng nhỏ của bạn. Nhưng trước tiên hãy hỏi liệu đó có phải là một phần trong mục tiêu nghiên cứu của bạn không.

Bây giờ cho một số ngụy biện:

• Một số giả thuyết null hoàn toàn đúng khi xây dựng. Chẳng hạn, khi bạn đang kiểm tra một trình tạo số giả ngẫu nhiên để phân phối, và PRG đó thực sự được phân bổ (sẽ là một định lý toán học), thì null sẽ giữ nguyên. Có lẽ hầu hết các bạn có thể nghĩ về các ví dụ thực tế thú vị hơn phát sinh từ ngẫu nhiên trong các thí nghiệm trong đó việc điều trị thực sự không có kết quả. (Tôi sẽ đưa ra toàn bộ tài liệu về đặc quyền là một ví dụ.;)

• Trong một tình huống mà một "đơn giản" null được thử nghiệm chống lại một "hợp chất" thay thế, như trong cổ điển t-test hoặc z-kiểm tra, thông thường mất một cỡ mẫu tỷ lệ với để phát hiện kích thước ảnh hưởng của ε . Có một giới hạn thực tế ràng buộc với điều này trong bất kỳ nghiên cứu nào, ngụ ý rằng có một giới hạn thực tế thấp hơn về kích thước hiệu ứng có thể phát hiện được. Vì vậy, như một vấn đề lý thuyết der Laan và Rose là chính xác, nhưng chúng ta nên cẩn thận trong việc áp dụng kết luận của họ.$1/\epsilon^2$$\epsilon$

Theo truyền thống, kiểm tra giả thuyết tập trung vào các giá trị p để rút ra ý nghĩa thống kê khi alpha nhỏ hơn 0,05 có một điểm yếu lớn. Và, đó là với kích thước mẫu đủ lớn, bất kỳ thí nghiệm nào cuối cùng cũng có thể bác bỏ giả thuyết khống và phát hiện ra những khác biệt nhỏ tầm thường hóa ra có ý nghĩa thống kê.

Đây là lý do tại sao các công ty dược cấu trúc các thử nghiệm lâm sàng để được FDA chấp thuận với các mẫu rất lớn. Mẫu lớn sẽ giảm sai số chuẩn xuống gần bằng không. Điều này đến lượt nó sẽ tăng chỉ số t một cách giả tạo và hạ thấp giá trị p xuống gần 0%.

Tôi tập hợp trong các cộng đồng khoa học không bị làm hỏng bởi các khuyến khích kinh tế và xung đột liên quan đến thử nghiệm giả thuyết lợi ích đang tránh xa mọi phép đo giá trị p đối với các phép đo Kích thước Hiệu ứng. Điều này là do đơn vị khoảng cách thống kê hoặc sự khác biệt trong phân tích Hiệu ứng kích thước là độ lệch chuẩn thay vì sai số chuẩn. Và, độ lệch chuẩn hoàn toàn độc lập với kích thước mẫu. Mặt khác, lỗi tiêu chuẩn hoàn toàn phụ thuộc vào cỡ mẫu.

Vì vậy, bất cứ ai nghi ngờ về thử nghiệm giả thuyết đều đạt được kết quả có ý nghĩa thống kê dựa trên các mẫu lớn và các phương pháp liên quan đến giá trị p đều có quyền bị hoài nghi. Họ nên chạy lại phân tích bằng cách sử dụng cùng một dữ liệu nhưng thay vào đó sử dụng các thử nghiệm thống kê Kích thước hiệu ứng. Và, sau đó quan sát xem Kích thước hiệu ứng có được coi là vật liệu hay không. Bằng cách làm như vậy, bạn có thể quan sát thấy một loạt các khác biệt có ý nghĩa thống kê có liên quan đến Kích thước hiệu ứng là không quan trọng. Đó là những gì các nhà nghiên cứu thử nghiệm lâm sàng đôi khi có nghĩa là khi một kết quả có ý nghĩa thống kê nhưng không "có ý nghĩa lâm sàng". Họ có nghĩa là một điều trị có thể tốt hơn giả dược, nhưng sự khác biệt là rất nhỏ đến nỗi nó sẽ không tạo ra sự khác biệt cho bệnh nhân trong bối cảnh lâm sàng.

Một thử nghiệm giả thuyết (thường xuyên), chính xác, giải quyết câu hỏi về xác suất của dữ liệu được quan sát hoặc một cái gì đó cực đoan hơn có thể sẽ cho rằng giả thuyết null là đúng. Giải thích này là không quan tâm đến kích thước mẫu. Giải thích đó là hợp lệ cho dù mẫu có kích thước 5 hoặc 1.000.000.

Một cảnh báo quan trọng là thử nghiệm chỉ liên quan đến lỗi lấy mẫu. Bất kỳ lỗi đo lường, vấn đề lấy mẫu, phạm vi bảo hiểm, lỗi nhập dữ liệu, vv đều nằm ngoài phạm vi của lỗi lấy mẫu. Khi kích thước mẫu tăng lên, các lỗi không lấy mẫu sẽ có ảnh hưởng lớn hơn vì các lần khởi hành nhỏ có thể tạo ra các lần khởi hành đáng kể từ mô hình lấy mẫu ngẫu nhiên. Kết quả là, các bài kiểm tra có ý nghĩa trở nên ít hữu ích hơn.

Đây không phải là một bản cáo trạng của thử nghiệm quan trọng. Tuy nhiên, chúng ta cần phải cẩn thận về các bản phân phối của chúng tôi. Một kết quả có thể có ý nghĩa thống kê. Tuy nhiên, chúng ta cần thận trọng về cách chúng ta thực hiện các phân bổ khi kích thước mẫu lớn. Đó có phải là sự khác biệt do quá trình tạo giả thuyết của chúng tôi gây ra lỗi lấy mẫu vis hay đó là kết quả của bất kỳ lỗi nào trong số các lỗi không lấy mẫu có thể ảnh hưởng đến thống kê kiểm tra (mà thống kê không tính đến)?

Một xem xét khác với các mẫu lớn là ý nghĩa thực tế của một kết quả. Một thử nghiệm quan trọng có thể gợi ý (ngay cả khi chúng ta có thể loại trừ lỗi không lấy mẫu) một sự khác biệt không đáng kể theo nghĩa thực tế. Ngay cả khi kết quả đó không chắc chắn được đưa ra cho mô hình lấy mẫu, nó có đáng kể trong bối cảnh của vấn đề không? Cho một mẫu đủ lớn, sự khác biệt trong một vài đô la có thể đủ để tạo ra một kết quả có ý nghĩa thống kê khi so sánh thu nhập giữa hai nhóm. Đây có phải là quan trọng trong bất kỳ ý nghĩa có ý nghĩa? Ý nghĩa thống kê là không thay thế cho đánh giá tốt và kiến ​​thức vấn đề.

Như một bên, null không đúng cũng không sai. Đó là một mô hình. Đó là một giả định. Chúng tôi giả sử null là đúng và đánh giá mẫu của chúng tôi theo giả định đó. Nếu mẫu của chúng tôi không thể đưa ra giả định này, chúng tôi sẽ tin tưởng hơn vào sự thay thế của chúng tôi. Để đặt câu hỏi liệu một null có bao giờ đúng trong thực tế hay không là một sự hiểu lầm về logic của kiểm tra ý nghĩa.

Một điểm đơn giản không được đưa ra trực tiếp trong một câu trả lời khác là nó đơn giản là không đúng sự thật rằng "tất cả các giả thuyết null đều sai."

Giả thuyết đơn giản rằng một đồng tiền vật lý có xác suất đứng đầu chính xác bằng 0,5, ok, đó là sai.

$\alpha$

$\alpha$

Theo một nghĩa nào đó, [tất cả] nhiều giả thuyết khống là [luôn] sai (nhóm người sống trong nhà có số lẻ không bao giờ kiếm được chính xác trung bình như nhóm người sống trong nhà có số chẵn).

$T_{\alpha}n^{-0.5}$$T_{\alpha}$$\alpha$$n$

Đây không phải là một khiếm khuyết của các bài kiểm tra thống kê. Đơn giản chỉ là hậu quả của thực tế là không có thêm thông tin (trước đó), chúng ta có một số lượng lớn các mâu thuẫn nhỏ với null phải được lấy làm bằng chứng chống lại null. Cho dù những sự mâu thuẫn này có tầm thường đến mức nào.

$\hat{P}(|\bar{\mu}_1-\bar{\mu}_2|^2>\eta|\eta, X)$

Câu trả lời ngắn gọn là không". Nghiên cứu kiểm tra giả thuyết trong chế độ tiệm cận của các quan sát vô hạn và nhiều giả thuyết đã rất, rất tích cực trong 15-20 năm qua, vì dữ liệu microarray và các ứng dụng dữ liệu tài chính. Câu trả lời dài nằm trong trang khóa học của Stat 329, "Suy luận đồng thời quy mô lớn", được giảng dạy năm 2010 bởi Brad Efron. Một chương đầy đủ được dành cho thử nghiệm giả thuyết quy mô lớn.

Kiểm tra giả thuyết cho dữ liệu lớn nên mức độ khác biệt mong muốn vào tài khoản, thay vì có sự khác biệt hay không. Bạn không quan tâm đến H0 rằng ước tính là chính xác 0. Cách tiếp cận chung sẽ là kiểm tra xem sự khác biệt giữa giả thuyết null và giá trị quan sát có lớn hơn giá trị ngưỡng đã cho hay không.

$\bar{X_1} > \bar{X_2}$

$H_0:\bar{X1}-\bar{X2} = \delta$

$H_A$$\bar{X1}-\bar{X2} > \delta$ .

mod.test <- function(x1,x2,dif,...){
    avg.x1 <- mean(x1)
    avg.x2 <- mean(x2)
    sd.x1 <- sd(x1)
    sd.x2 <- sd(x2)

    sd.comb <- sqrt((sd.x1^2+sd.x2^2)/2)
    n <- length(x1)
    t.val <- (abs(avg.x1-avg.x2))*sqrt(n)/sd.comb
    ncp <- (dif*sqrt(n)/sd.comb)
    p.val <- pt(t.val,n-1,ncp=ncp,lower.tail=FALSE)
    return(p.val)
}

n <- 5000

test1 <- replicate(100,
  t.test(rnorm(n),rnorm(n,0.05))$p.value)
table(test1<0.05)
test2 <- replicate(100,
  t.test(rnorm(n),rnorm(n,0.5))$p.value)
table(test2<0.05)

test3 <- replicate(100,
   mod.test(rnorm(n),rnorm(n,0.05),dif=0.3))
table(test3<0.05)

test4 <- replicate(100,
   mod.test(rnorm(n),rnorm(n,0.5),dif=0.3))
table(test4<0.05)

Cung cấp cho:

> table(test1<0.05)
FALSE  TRUE 
   24    76 

> table(test2<0.05)
TRUE 
 100 

> table(test3<0.05)
FALSE 
  100 

> table(test4<0.05)
TRUE 
 100 

"Điều đó có nghĩa là kiểm tra giả thuyết là vô giá trị đối với các tập dữ liệu lớn?"

Không, nó không có nghĩa như vậy. Thông điệp chung là các quyết định được đưa ra sau khi tiến hành kiểm tra giả thuyết nên luôn luôn tính đến kích thước hiệu ứng ước tính và không chỉ giá trị p. Đặc biệt, trong các thí nghiệm với kích thước mẫu rất lớn, điều cần thiết này để xem xét kích thước hiệu ứng trở nên kịch tính. Tất nhiên, nói chung, người dùng không thích điều này vì quy trình trở nên ít "tự động" hơn.

Hãy xem xét ví dụ mô phỏng này. Giả sử bạn có một mẫu ngẫu nhiên 1 triệu quan sát từ phân phối chuẩn thông thường,

n <- 10^6
x <- rnorm(n)

$0.01$

y <- rnorm(n, mean = 0.01)

$95\%$$2.5\times 10^{-14}$

t.test(x, y)

        Welch Two Sample t-test

data:  x and y
t = -7.6218, df = 1999984, p-value = 2.503e-14
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
 -0.013554059 -0.008009031
sample estimates:
   mean of x    mean of y 
0.0008947038 0.0116762485

$95\%$$[-0.013, -0.008]$ .

Là một sự khác biệt giữa hai phương tiện dân số của thứ tự cường độ này có liên quan đến vấn đề cụ thể mà chúng ta đang nghiên cứu hay không?

$H_{ST}:d_{1}=1.23,d_{2}=1.11,\dots$$d_{i}$

Nhưng người ta thường không quan tâm đến giả thuyết điều chắc chắn này. Nếu bạn nghĩ về những gì bạn thực sự muốn làm với bài kiểm tra giả thuyết, bạn sẽ sớm nhận ra rằng bạn chỉ nên từ chối giả thuyết khống nếu bạn có cái gì đó tốt hơn để thay thế nó. Ngay cả khi null của bạn không giải thích được dữ liệu, sẽ không có ích gì khi vứt nó đi, trừ khi bạn có người thay thế. Bây giờ bạn sẽ luôn thay thế null bằng giả thuyết "điều chắc chắn" chứ? Có lẽ là không, bởi vì bạn không thể sử dụng giả thuyết "điều chắc chắn" này để khái quát hóa vượt ra ngoài tập dữ liệu của bạn. Nó không nhiều hơn là in ra dữ liệu của bạn.

Vì vậy, những gì bạn nên làm là xác định giả thuyết rằng bạn thực sự sẽ quan tâm đến việc hành động nếu chúng là sự thật. Sau đó làm bài kiểm tra thích hợp để so sánh các lựa chọn thay thế đó với nhau - và không phải với một số giả thuyết không liên quan mà bạn biết là sai hoặc không sử dụng được.

$H_{0}:\mu=0$$H_{1}:\mu\in\{\pm 1,\pm 2,\pm 3,\pm 4,\pm 5,\pm 6\}$$0.5$$100$

Về cơ bản, kết luận là bạn cần xác định không gian giả thuyết của mình - những giả thuyết mà bạn thực sự quan tâm. Có vẻ như với dữ liệu lớn, điều này trở thành một điều rất quan trọng, đơn giản là vì dữ liệu của bạn có sức mạnh giải quyết rất nhiều. Cũng có vẻ như điều quan trọng là so sánh như giả thuyết - điểm với điểm, hợp chất với hợp chất - để có được kết quả ứng xử tốt.

Không. Đúng là tất cả các thử nghiệm giả thuyết điểm hữu ích đều phù hợp và do đó sẽ hiển thị một kết quả quan trọng nếu chỉ có cỡ mẫu đủ lớn và tồn tại một số hiệu ứng không liên quan. Để khắc phục nhược điểm này của kiểm tra giả thuyết thống kê (đã được đề cập bởi câu trả lời của Gaetan Lion ở trên), có các thử nghiệm liên quan. Đây là tương tự như các xét nghiệm tương đương nhưng thậm chí ít phổ biến hơn. Đối với một thử nghiệm liên quan, kích thước của một hiệu ứng có liên quan tối thiểu được quy định trước. Kiểm tra mức độ liên quan có thể dựa trên khoảng tin cậy cho hiệu ứng: Nếu khoảng tin cậy và vùng liên quan tách rời nhau, bạn có thể từ chối null.

Tuy nhiên, van der Laan và Rose cho rằng trong tuyên bố của họ, rằng ngay cả những giả thuyết không có thật cũng được thử nghiệm trong các nghiên cứu. Nếu một giả thuyết không có giá trị là đúng, thì khả năng loại bỏ không lớn hơn alpha, đặc biệt là trong trường hợp mẫu lớn và thậm chí sai chính tả, tôi chỉ có thể thấy rằng phân phối mẫu khác với hệ thống phân bố dân số,

Bài báo bạn đề cập có một điểm hợp lệ, liên quan đến các bài kiểm tra thường xuyên tiêu chuẩn. Đó là lý do tại sao kiểm tra cho một kích thước hiệu ứng nhất định là rất quan trọng. Để minh họa, đây là một anova giữa 3 nhóm, trong đó nhóm B hơi khác so với nhóm A và C. hãy thử điều này trong r:

treat_diff=0.001 #size of treatment difference
ns=c(10, 100, 1000, 10000, 100000, 1000000) #values for sample size per group considered
reps=10 #number of test repetitions for each sample size considered
p_mat=data.frame(n=factor(), p=double()) #create empty dataframe for outputs
for (n in ns){ #for each sample size
  for (i in c(1:reps)){ #repeat anova test ‘reps’ time
    treatA=data.frame(treatment="A", val=rnorm(n)) 
    treatB=data.frame(treatment="B", val=rnorm(n)+treat_diff) #this is the group that has the means slightly different from the other groups
    treatC=data.frame(treatment="C", val=rnorm(n))
    all_treatment=rbind(treatA, treatB, treatC)
    treatment_aov=aov(val~treatment, data=all_treatment)
    aov_summary=summary(treatment_aov)
    p=aov_summary[[1]][["Pr(>F)"]][1]
    temp_df=data.frame(n=n, p=p)
    p_mat=rbind(p_mat, temp_df)
  }
}

library(ggplot2)
p <- ggplot(p_mat, aes(factor(n), p))
p + geom_boxplot()

Như mong đợi, với số lượng mẫu lớn hơn trên mỗi thử nghiệm, ý nghĩa thống kê của thử nghiệm tăng lên:

Tôi nghĩ điều họ muốn nói là người ta thường đưa ra một giả định về mật độ xác suất của giả thuyết null có dạng 'đơn giản' nhưng không tương ứng với mật độ xác suất thực.

Bây giờ với các tập dữ liệu nhỏ, bạn có thể không đủ độ nhạy để thấy hiệu ứng này nhưng với tập dữ liệu đủ lớn, bạn sẽ từ chối giả thuyết null và kết luận rằng có một hiệu ứng mới thay vì kết luận rằng giả định của bạn về giả thuyết null là sai.

$\alpha$

$H_0$$H_1$

Công suất tăng theo cỡ mẫu (tất cả những thứ khác bằng nhau).

Nhưng tuyên bố rằng "Chúng tôi biết rằng đối với các cỡ mẫu đủ lớn, mọi nghiên cứu bao gồm cả những nghiên cứu trong đó giả thuyết không có hiệu lực là đúng - sẽ tuyên bố một hiệu ứng có ý nghĩa thống kê." không chính xác