Làm thế nào để so sánh độ lặp lại (ICC) của các nhóm khác nhau?


8

Tôi đã tính các giá trị ICC cho hai nhóm và bây giờ muốn so sánh các giá trị ICC để xác định xem các nhóm có khác nhau về độ lặp lại hay không. Trong tài liệu người ta chỉ đơn giản sử dụng các bài kiểm tra t để so sánh độ lặp lại nhưng tôi không rõ làm thế nào để làm điều này.

Ví dụ: với dữ liệu giả:

ID  gr  day behaviour
1   1   1   0.361
2   1   1   0.232
3   1   1   0.240
4   1   1   0.693
5   1   1   0.483
6   1   1   0.267
7   2   1   0.180
8   2   1   0.515
9   2   1   0.485
10  2   1   0.567
11  2   1   0.000
12  2   1   0.324
1   1   2   0.055
2   1   2   0.407
3   1   2   0.422
4   1   2   0.174
5   1   2   0.613
6   1   2   0.311
7   2   2   0.631
8   2   2   0.283
9   2   2   0.512
10  2   2   0.127
11  2   2   0.000
12  2   2   0.000

Tôi có thể nhận được các biện pháp lặp lại cho nhóm 1 và 2 như sau:

library(ICC)
g1 <- ICCest(ID, behaviour, data=dummy[dummy$gr=="1",])
g2 <- ICCest(ID, behaviour, data=dummy[dummy$gr=="2",])

Nhưng làm thế nào bây giờ tôi có thể xác định xem độ lặp lại của nhóm1 có khác với nhóm2 không?


Tôi nhận thấy rằng mỗi nhóm của bạn chỉ có 2 cụm. Điều này chắc chắn không lý tưởng và chắc chắn là lý do tại sao khoảng tin cậy xung quanh cả hai ước tính ICC của bạn là rất rộng (mà tôi thấy từ câu trả lời của @JamesStanley bên dưới), ít nhất là cho bộ dữ liệu mẫu này bạn đã cung cấp. Trong tập dữ liệu thực tế của bạn , bạn chỉ có 2 cụm cho mỗi nhóm, hoặc (hy vọng) nhiều cụm hơn số này? Nếu nhiều hơn, bao nhiêu mỗi nhóm?
Jake Westfall

Bạn có ý nghĩa chính xác với 2 cụm? Tôi đã thử nghiệm hai nhóm hai lần, tôi không hiểu tại sao điều đó không lý tưởng? Bây giờ tôi đã chạy thử nghiệm hoán vị để so sánh ICC của cả hai nhóm (r = 0,77, KTC 95%: 0,54, 0,91 và đối với nhóm 2 r = 0,24, KTC 95%: 0,07, 0,57) cho thấy nhóm 1 có độ lặp lại cao hơn đáng kể 2.
crazjo

1
Có lẽ chúng ta nên sao lưu. ICC có thể áp dụng cho dữ liệu phân cụm (nghĩa là đa cấp). Đó là một cách đo trung bình giống nhau như thế nào là hai quan sát được rút ra từ cùng một cụm, liên quan đến hai quan sát được rút ngẫu nhiên từ tập dữ liệu bỏ qua phân cụm. Trong thực tế, nó được tính là tỷ lệ giữa phương sai giữa các cụm với tổng phương sai. Vì vậy, nếu bạn chỉ có 2 cụm trong mỗi nhóm của mình, thì ước tính phương sai giữa các cụm chỉ dựa trên 2 điểm dữ liệu. Hãy tưởng tượng cố gắng ước tính, giả sử, độ lệch trung bình hoặc độ lệch chuẩn của bộ dữ liệu chỉ bao gồm 2 điểm dữ liệu!
Jake Westfall

Đối với bài kiểm tra hoán vị của bạn, tôi rất muốn biết chính xác cách thức tiến hành. Tôi đã nghĩ đến việc đăng một giải pháp dựa trên bài kiểm tra bootstrap hoặc hoán vị. Lưu ý rằng loại điều này phải được thực hiện khá cẩn thận với dữ liệu đa cấp!
Jake Westfall

Câu trả lời:


1

Bỏ qua các vấn đề quan trọng về câu hỏi nghiên cứu và dữ liệu demo (và cỡ mẫu để có ước tính hợp lý về ICC), đầu ra bạn nhận được từ ICCesthàm có các khoảng tin cậy được đính kèm: như một điểm khởi đầu để so sánh các nhóm, bạn có thể xem xét liệu có sự chồng chéo giữa mỗi khoảng tin cậy và ước tính điểm của nhóm khác về ICC.

Ở mọi mức độ, báo cáo ước tính điểm của ICC và khoảng tin cậy cho mỗi nhóm sẽ hữu ích hơn (và do đó tôi khuyên bạn nên báo cáo những điều này trong mọi trường hợp) hơn là chỉ báo cáo ước tính điểm và kết quả của một số loại kiểm định giả thuyết.

dummy <- structure(list(ID = c(1L, 2L, 3L, 4L, 5L, 6L, 7L, 8L, 9L, 10L,
                  11L, 12L, 1L, 2L, 3L, 4L, 5L, 6L, 7L, 8L, 9L, 10L, 11L, 12L), 
           gr = c(1L, 1L, 1L, 1L, 1L, 1L, 2L, 2L, 2L, 2L, 2L, 2L, 1L, 
                  1L, 1L, 1L, 1L, 1L, 2L, 2L, 2L, 2L, 2L, 2L), 
           day = c(1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 2L, 2L, 2L, 2L, 
                   2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L), 
           behaviour = c(0.361, 0.232, 0.24, 0.693, 0.483, 0.267, 0.18, 0.515, 0.485,
                         0.567, 0, 0.324, 0.055, 0.407, 0.422, 0.174, 0.613, 0.311, 
                         0.631, 0.283, 0.512, 0.127, 0, 0)), 
           .Names = c("ID", "gr", "day", "behaviour"), 
          class = "data.frame", row.names = c(NA, -24L))

library(ICC)
ICCest(ID, behaviour, data=dummy[dummy$gr=="1",])
# First few lines of console output:
#$ICC
#[1] -0.1317788
#$LowerCI
#[1] -0.7728603
#$UpperCI
#[1] 0.6851783

ICCest(ID, behaviour, data=dummy[dummy$gr=="2",])
# First few lines of console output:
#$ICC
#[1] 0.1934523
#$LowerCI
#[1] -0.6036826
#$UpperCI
#[1] 0.8233986

Cảm ơn James, đầu ra tôi nhận được từ dữ liệu thực tế được hiển thị cho nhóm 1: r = 0.77, 95% CI: 0.54, 0.91và cho nhóm 2 r = 0.77, 95% CI: 0.07, 0.57. Bạn có thể thấy nhóm 1 có độ nhất quán tương đối rất cao trong khi nhóm 2 có độ nhất quán trung bình trung bình nhưng khoảng tin cậy từ hai nhóm hầu như không trùng nhau. Tôi có thể viết trong một bản thảo nhóm 2 ít nhất quán hơn nhóm 1 (số liệu thống kê trên) không? Tôi hiểu bạn đề nghị điều này sẽ tốt hơn so với việc chạy thử nghiệm để so sánh chúng nhưng vẫn tốt nếu biết cách so sánh giá trị ICC của hai nhóm.
crazjo

Tôi cảm thấy thoải mái khi đọc đánh giá hai ICC đó như được in trong bình luận của bạn vì cho thấy độ tin cậy khác nhau (Tôi giả sử nhóm 2 r có lỗi đánh máy và thực tế là ~ = 0,32) - sự trùng lặp nằm giữa khoảng tin cậy kết thúc, thay vì một khoảng tin cậy nhất định và ước tính điểm ngược lại, nếu đây là những khác biệt về phương tiện có thể sẽ tương ứng với kết quả thử nghiệm t "đáng kể" với p <0,05.
James Stanley
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.