Tôi có nên bận tâm rằng công suất kiểm tra t tương đối nhỏ khi H0 đã bị từ chối không?

Tôi có hai mẫu khá nhỏ ( cho mỗi mẫu) và tôi nhận được công suất kiểm tra t hai mẫu cho chúng 0,49, tương đối nhỏ (tính theo R ). Tuy nhiên, phép thử t Welch Two Sample cho giá trị p là 0,032 ở đây, và do đó, giả thuyết null có thể bị bác bỏ.$n=7$power.t.test()$0.032$

Bây giờ tôi có nên bận tâm rằng sức mạnh là nhỏ?

Theo tôi hiểu rằng sức mạnh = nơi β là xác suất sai lầm loại II. Ở đây, điều đó có nghĩa là xét nghiệm của tôi sẽ không từ chối H0 trong khoảng 50% trường hợp khi bị từ chối, vì vậy tôi nên lo lắng nhất là khi các mẫu cụ thể của tôi không thể từ chối H0. Nhưng trong trường hợp các mẫu cụ thể của tôi, có vẻ như tôi may mắn và bài kiểm tra thiếu sức mạnh của tôi đã thành công trong việc từ chối, vì vậy tôi không cần quan tâm đến beta và tôi có thể tận hưởng sự khác biệt đáng kể trong mẫu có nghĩa.$1 - \beta$$\beta$

Là giải thích của tôi chính xác? Hay tôi bỏ lỡ điều gì quan trọng?

Theo nghĩa hẹp, bạn đúng. Quyền lực là cơ hội để từ chối chính xác một giả thuyết khống sai, vì vậy bạn có một cơ hội nhỏ nhưng dù sao cũng có thể làm được.

Tuy nhiên, từ quan điểm cập nhật niềm tin của người Bayes, "giảm sức mạnh ngụ ý giảm sự thay đổi niềm tin được bảo đảm từ việc quan sát một kết quả có ý nghĩa thống kê (McClelland et al. 2015)." Hãy nghĩ về nó theo cách này: nếu tôi nói với bạn rằng tôi đã khảo sát 30.000 người từ công chúng và thấy rằng, trái với số liệu bán hàng, mọi người có xu hướng thích Pepsi hơn Coke, điều đó sẽ rất hấp dẫn. Tôi đã tìm thấy một kết quả sau khi nghiên cứu 1% dân số (tức là công chúng Hoa Kỳ). Nó có khả năng khái quát cho dân số lớn hơn. Nếu tôi khảo sát 7 người và tìm thấy điều tương tự, ngay cả khi nó có ý nghĩa thống kê, tôi sẽ không thuyết phục được ai. Bạn có thể tranh luận rất nhiều lý do cho điều đó (bạn không thể lấy mẫu đại diện, giả định ANOVA / hồi quy có thể không được đáp ứng, v.v.), nhưng ' Điều quan trọng là sức mạnh cao có nghĩa là có sức thuyết phục cao (và bạn nên quan trọng hoặc nhiều hơn kết quả của bạn như những gì bạn đang cố gắng thuyết phục). Đối với toán học Bayes cũng như giải thích thêm, bạn có thể kiểm tra bất kỳ điều nào sau đây.

Abelson, R. P. (2012). Statistics as principled argument. Psychology Press.

Brinberg, D., Lynch Jr, J. G., & Sawyer, A. G. (1992). Hypothesized and confounded explanations in theory tests: A Bayesian analysis. Journal of Consumer Research, 139-154.

McClelland, G., Lynch, J. G., Irwin, J. R., Spiller, S. A., & Fitzsimons, G. J. (2015). Median Splits, Type II Errors, and False Positive Consumer Psychology: Don't Fight the Power. Type II Errors, and False Positive Consumer Psychology: Don't Fight the Power (March 10, 2015).

Ngoài ra, Ioannidis (2005) cung cấp một số lập luận thuyết phục cho kết quả năng lượng thấp phản ánh lỗi loại I ngay cả khi không có hack và các sai lệch khác thường xảy ra do năng lượng thấp (và giấy là truy cập mở trong trường hợp bạn không làm việc một trường đại học hoặc một cái gì đó tương tự!).

$N$

$N$$N$$>50\%$$<50\%$

$p$$.05$$50\%$

Vì vậy, "[nó] có nên làm phiền [bạn] rằng sức mạnh nhỏ không?" Có và không. Nếu bạn đã thực hiện một phân tích sức mạnh hậu hoc truyền thống (không hợp lệ), bạn nhất thiết sẽ nhận được các giá trị như thế mà tập thể dục hoàn toàn không có ý nghĩa. Mặt khác, nếu chúng ta nghiêm túc phân tích công suất, một hiệu ứng đáng kể với thiết lập công suất thấp về cơ bản có nghĩa là hiệu ứng quan sát của bạn phải bị sai lệch lớn hơn thực tế, vì vậy bạn nên ít tin tưởng vào kết quả.

$p$$p$$\alpha$$p \leq \alpha$$P(p \leq \alpha \,|\, H_0) \leq \alpha$$\beta$$P(p > \alpha \,|\, H_1) \leq \beta$$1-\beta$

$H_0$$H_1$

Để minh họa thêm, hãy nhìn vào khoảng tin cậy (CI). Người ta có thể lập luận rằng kích thước mẫu lớn hơn sẽ làm cho CI hẹp hơn và do đó, nếu thử nghiệm có ý nghĩa đối với một mẫu nhỏ hơn, thì nó cũng sẽ có ý nghĩa đối với mẫu lớn hơn. Tuy nhiên, vị trí của CI có thể thay đổi khi chúng tôi bao gồm nhiều dữ liệu hơn trong mẫu của chúng tôi, có khả năng làm cho kết quả không đáng kể. Cũng có thể hình dung rằng mẫu lớn hơn sẽ có sai số chuẩn lớn hơn nhiều và do đó CI sẽ trở nên rộng hơn trên thực tế. Người ta có thể nói rằng một cỡ mẫu lớn hơn cung cấp cho các sự kiện nhiều cơ hội hơn để chứng minh bản thân.

$p$

[1] Colquhoun, "Một cuộc điều tra về tỷ lệ phát hiện sai và giải thích sai các giá trị p", Royal Society Open Science, 2014

[2] Colquhoun, "Khả năng sinh sản của nghiên cứu và giải thích sai về giá trị P", 2017, http://www.biorxiv.org/content/early/2017/08/07/144337

$p < .005$

$p$