Làm thế nào một bài kiểm tra t có thể có ý nghĩa thống kê nếu sự khác biệt trung bình gần như bằng 0?

Tôi đang cố gắng so sánh dữ liệu từ 2 quần thể để cho biết sự khác biệt giữa các phương pháp điều trị có ý nghĩa thống kê hay không. Các bộ dữ liệu dường như được phân phối bình thường với rất ít sự khác biệt giữa hai bộ. Chênh lệch trung bình là 0,00017. Tôi đã thực hiện một thử nghiệm t cặp, hy vọng rằng tôi sẽ không từ chối giả thuyết khống không có sự khác biệt giữa các phương tiện, tuy nhiên, giá trị t tính toán của tôi cao hơn nhiều so với giá trị t quan trọng của tôi.

Tôi thấy không có lý do gì để tin rằng bạn đã làm điều gì đó sai chỉ vì bài kiểm tra có ý nghĩa, ngay cả khi sự khác biệt trung bình là rất nhỏ. Trong thử nghiệm t cặp, tầm quan trọng sẽ được điều khiển bởi ba điều:

1. độ lớn của sự khác biệt trung bình
2. lượng dữ liệu bạn có
3. độ lệch chuẩn của sự khác biệt

Phải thừa nhận rằng, sự khác biệt trung bình của bạn là rất, rất nhỏ. Mặt khác, bạn có một lượng dữ liệu hợp lý (N = 335). Yếu tố cuối cùng là độ lệch chuẩn của sự khác biệt. Tôi không biết đó là gì, nhưng vì bạn đã có một kết quả quan trọng, sẽ an toàn khi cho rằng nó đủ nhỏ để vượt qua sự khác biệt trung bình nhỏ với lượng dữ liệu bạn có. Để xây dựng một trực giác, hãy tưởng tượng rằng sự khác biệt được ghép nối cho mỗi quan sát trong nghiên cứu của bạn là 0,00017, sau đó độ lệch chuẩn của các khác biệt sẽ là 0. Chắc chắn, sẽ hợp lý khi kết luận rằng việc điều trị dẫn đến giảm (mặc dù một cái nhỏ xíu).

Như @whuber lưu ý trong các bình luận bên dưới, đáng để chỉ ra rằng trong khi 0,00017 có vẻ như là một con số rất nhỏ qua số, thì nó không nhất thiết phải nhỏ về mặt ý nghĩa. Để biết điều đó, chúng ta sẽ cần phải biết một số điều, trước tiên là các đơn vị là gì. Nếu các đơn vị rất lớn (ví dụ: năm, km, v.v.), những gì có vẻ nhỏ có thể lớn một cách có ý nghĩa, trong khi nếu các đơn vị nhỏ (ví dụ: giây, centimet, v.v.), sự khác biệt này dường như còn nhỏ hơn. Thứ hai, ngay cả một thay đổi nhỏ cũng có thể quan trọng: hãy tưởng tượng một loại điều trị nào đó (ví dụ, vắc-xin) rất rẻ, dễ quản lý cho toàn bộ dân chúng và không có tác dụng phụ. Nó có thể là đáng làm ngay cả khi nó chỉ cứu được rất ít mạng sống.

Để biết sự khác biệt thực sự lớn hay nhỏ đòi hỏi một số đo tỷ lệ, độ lệch chuẩn là một thước đo tỷ lệ và là một phần của công thức kiểm tra t để tính một phần cho thang đo đó.

Hãy xem xét nếu bạn đang so sánh chiều cao của trẻ 5 tuổi với chiều cao của trẻ 20 tuổi (con người, cùng một khu vực địa lý, v.v.). Trực giác cho chúng ta biết rằng có một sự khác biệt thực tế ở đó và nếu độ cao được đo bằng inch hoặc centimet thì sự khác biệt sẽ có ý nghĩa. Nhưng nếu bạn chuyển đổi độ cao thành km thì sao? hay năm ánh sáng? thì sự khác biệt sẽ là một con số rất nhỏ (nhưng vẫn khác nhau), nhưng (lỗi tắt vòng), kiểm tra t sẽ cho kết quả tương tự cho dù chiều cao được đo bằng inch, centimet hay km.

Vì vậy, sự khác biệt 0,00017 có thể rất lớn tùy thuộc vào quy mô của các phép đo.

Nếu quan trọng của bạn nhỏ hơn những gì bạn đã tính toán và giả sử thử nghiệm phù hợp với loại dữ liệu cụ thể của bạn (một "nếu" quan trọng), có vẻ như sự khác biệt của bạn có ý nghĩa thống kê theo nghĩa . Một đáng kể trong bối cảnh thích hợp thường có nghĩa là sự khác biệt quan sát được của bạn quá đáng tin cậy khác không để hỗ trợ cho giả thuyết khống rằng dữ liệu hoàn toàn không "khác biệt". Ngay cả một sự khác biệt của có thể có ý nghĩa thống kê từ 0 nếu mọi khác biệt quan sát được nằm trong khoảng từ 0,00015, 0,00020. Quan sát!$t$unlikely to emerge at least as large in another, similar pair of samples selected randomly from the same populations if the null hypothesis of no difference is literally true of those populations$t$$\frac{17}{100,000}$

pop1=rep(15:20* .00001, 56);pop2=rep(0,336) #Some fake samples of sample size = 336
t.test(pop1,pop2,paired=T)                #Paired t-test with the following output...

Bởi vì các mẫu này rất khác nhau, sự khác biệt đạt được ý nghĩa thống kê, mặc dù chúng có quy mô nhỏ hơn so với nhiều người trong chúng ta thường thấy ở những con số trần tục, hàng ngày. Trên thực tế, bạn có thể thu nhỏ dữ liệu bao nhiêu tùy thích bằng cách xử lý nhiều số không như các phép tính của bạn có thể xử lý ở phía trước .00001trong dòng mã R đầu tiên của tôi . Điều này sẽ giảm quy mô độ lệch chuẩn của sự khác biệt là tốt; tức là, sự khác biệt của bạn sẽ vẫn như nhau, của bạn sẽ vẫn giống hệt nhau, và ý nghĩa của nó cũng vậy.$t$

Có lẽ bạn sẽ quan tâm đến ý nghĩa thực tiễn hơn là theo nghĩa đen của thử nghiệm ý nghĩa giả thuyết null. Ý nghĩa thực tiễn sẽ phụ thuộc nhiều vào ý nghĩa của dữ liệu của bạn trong ngữ cảnh hơn là ý nghĩa thống kê; nó không phải là một vấn đề thống kê đơn thuần Tôi đã trích dẫn một ví dụ hữu ích về nguyên tắc này trong câu trả lời cho một câu hỏi phổ biến ở đây, chứa các quan điểm cố thủ của các giá trị p :

Người ta không thể kết luận bằng kích thước một mình rằng nhất thiết không quan trọng nếu nó có thể liên quan đến vấn đề sống và chết ^{[(Rosenthal, Rubin, & Rosnow, 2000)]} .$r=.03$

"Vấn đề sống và chết" này là kích thước tác dụng của aspirin đối với các cơn đau tim, về cơ bản - một ví dụ mạnh mẽ về sự khác biệt nhỏ về số lượng, ít nhất quán với ý nghĩa thực tế quan trọng. Nhiều câu hỏi khác với câu trả lời chắc chắn mà bạn có thể có lợi liên kết xứng đáng ở đây, bao gồm:

• Tại sao "có ý nghĩa thống kê" là không đủ?
• ý nghĩa thực tế và thống kê
• Ý nghĩa thực tiễn, đặc biệt là với phần trăm: biện pháp và ngưỡng "tiêu chuẩn"

Tài liệu tham khảo

Rosenthal, R., Rosnow, RL, & Rubin, DB (2000). Sự tương phản và kích thước hiệu ứng trong nghiên cứu hành vi: Một cách tiếp cận tương quan . Nhà xuất bản Đại học Cambridge.

Dưới đây là một ví dụ trong R cho thấy các khái niệm lý thuyết đang hoạt động. 10.000 thử nghiệm lật một đồng xu 10.000 lần có xác suất đầu là 0,0001 so với 10.000 thử nghiệm lật một đồng xu 10.000 lần có xác suất đầu là 0,00011

t.test (rbinom (10000, 10000, .0001), rbinom (10000, 10000, .00011))

t = -8.0299, df = 19886,35, p-value = 1,03e-15 giả thuyết thay thế: sự khác biệt thực sự về phương tiện không bằng 0 95% khoảng tin cậy: -0,14493747 -0,08806253 ước tính mẫu: giá trị trung bình của x 0,9888

Sự khác biệt về giá trị trung bình tương đối gần với 0 về nhận thức của con người, tuy nhiên nó rất khác biệt về mặt thống kê so với 0.