Tính toán độ tin cậy giữa các nhà nghiên cứu trong R với số lượng xếp hạng thay đổi?

Wikipedia gợi ý rằng một cách để xem xét độ tin cậy giữa các nhà nghiên cứu là sử dụng mô hình hiệu ứng ngẫu nhiên để tính toán tương quan nội hàm . Ví dụ về tương quan nội hàm nói về việc nhìn vào

\frac{σ_{α}^{2}}{σ_{α}^{2} + σ_{ϵ}^{2}}

$\frac{\sigma_\alpha^2}{\sigma_\alpha^2+\sigma_\epsilon^2}$

từ một mô hình

Y_{i j} = μ + α_{i} + ϵ_{i j}

$Y_{ij} = \mu + \alpha_i + \epsilon_{ij}$

"Trong đó Y _ij là quan sát ^thứ j trong nhóm ^thứ i , là một ý nghĩa tổng thể không quan sát được, α _i là một hiệu ứng ngẫu nhiên không quan sát được chia sẻ bởi tất cả các giá trị trong nhóm i và ε _ij là một thuật ngữ tiếng ồn không quan sát được."

Đây là một mô hình hấp dẫn đặc biệt bởi vì trong dữ liệu của tôi, không có người đánh giá nào đánh giá tất cả mọi thứ (mặc dù hầu hết đã xếp hạng 20+) và mọi thứ được đánh giá một số lần thay đổi (thường là 3-4).

Câu hỏi số 0: "Nhóm i" trong ví dụ đó ("nhóm i") có phải là một nhóm các thứ được xếp hạng không?

Câu hỏi số 1: Nếu tôi đang tìm kiếm độ tin cậy giữa các nhà nghiên cứu, tôi không cần một mô hình hiệu ứng ngẫu nhiên với hai thuật ngữ, một cho người đánh giá và một cho điều được đánh giá? Rốt cuộc, cả hai đều có thể thay đổi.

Câu hỏi số 2: Làm thế nào tôi thể hiện tốt nhất mô hình này trong R?

Có vẻ như câu hỏi này có một đề xuất đẹp mắt:

lmer(measurement ~ 1 + (1 | subject) + (1 | site), mydata)

Tôi đã xem xét một vài câu hỏi và cú pháp của tham số "ngẫu nhiên" cho lme là không rõ ràng đối với tôi. Tôi đọc trang trợ giúp cho lme , nhưng mô tả cho "ngẫu nhiên" là không thể hiểu được đối với tôi mà không có ví dụ.

Câu hỏi này có phần tương tự như một dài danh sách các câu hỏi , với này gần nhất. Tuy nhiên, hầu hết không đề cập đến R một cách chi tiết.

r reliability random-effects-model agreement-statistics

— dfrankow
nguồn

Mô hình hiệu ứng hỗn hợp và hiệu ứng ngẫu nhiên được mã hóa theo cùng một cách trong R. Xem ncbi.nlm.nih.gov/pmc/articles/PMC3402032 để biết thêm thông tin về tuto!

— noé

Mô hình bạn tham chiếu trong câu hỏi của bạn được gọi là "mô hình một chiều". Nó giả định rằng các hiệu ứng hàng ngẫu nhiên là nguồn phương sai duy nhất có hệ thống. Trong trường hợp độ tin cậy giữa các nhà nghiên cứu, các hàng tương ứng với các đối tượng đo lường (ví dụ: các đối tượng).

Mô hình một chiều : trong đó là giá trị trung bình của tất cả các đối tượng, là hiệu ứng hàng và là hiệu ứng dư.
$x_{i j} = μ + r_{i} + w_{i j}$ $x_{ij} = \mu + r_i + w_{ij}$ $\mu$ $r_i$ $w_{ij}$

Tuy nhiên, cũng có "mô hình hai chiều". Chúng giả định rằng có phương sai liên quan đến hiệu ứng hàng ngẫu nhiên cũng như hiệu ứng cột ngẫu nhiên hoặc cố định. Trong trường hợp độ tin cậy giữa các nhà nghiên cứu, các cột tương ứng với các nguồn đo lường (ví dụ: các bộ đo).

Mô hình hai chiều : trong đó là trung bình cho tất cả các đối tượng, là hiệu ứng hàng, là hiệu ứng cột, là hiệu ứng tương tác và là hiệu ứng dư. Sự khác biệt giữa hai mô hình này là bao gồm hoặc loại trừ hiệu ứng tương tác.
$x_{i j} = μ + r_{i} + c_{j} + r c_{i j} + e_{i j}$ $x_{ij} = \mu + r_i + c_j + rc_{ij} + e_{ij}$ $x_{i j} = μ + r_{i} + c_{j} + e_{i j}$ $x_{ij} = \mu + r_i + c_j + e_{ij}$ $\mu$ $r_i$ $c_j$ $rc_{ij}$ $e_{ij}$

Đưa ra mô hình hai chiều, bạn có thể tính toán một trong bốn hệ số ICC: ICC thống nhất điểm số duy nhất (C, 1), ICC thống nhất điểm trung bình (C, k), thỏa thuận điểm số ICC (A, 1) hoặc thỏa thuận điểm trung bình ICC (A, k). Các ICC điểm đơn áp dụng cho các phép đo đơn (ví dụ: các chỉ số riêng lẻ), trong khi các ICC điểm trung bình áp dụng cho các phép đo trung bình (ví dụ: giá trị trung bình của tất cả các phép đo ). Các ICC nhất quán loại trừ phương sai cột khỏi phương sai mẫu số (ví dụ: cho phép các bộ đo thay đổi theo phương tiện riêng của chúng), trong khi các ICC thỏa thuận bao gồm phương sai cột trong phương sai mẫu số (ví dụ: yêu cầu các bộ đo thay đổi theo cùng một giá trị trung bình). $x_{ij}$ $\bar{x}_i$

Dưới đây là các định nghĩa nếu bạn giả sử một hiệu ứng cột ngẫu nhiên:

Định nghĩa ICC hiệu ứng ngẫu nhiên hai chiều (có hoặc không có hiệu ứng tương tác) :
$I C C (C, 1) = \frac{σ_{r}^{2}}{σ_{r}^{2} + (σ_{r c}^{2} + σ_{e}^{2})} or \frac{σ_{r}^{2}}{σ_{r}^{2} + σ_{e}^{2}}$ $ICC(C,1) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_{rc}^2 + \sigma_e^2)}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + \sigma_e^2}$ $I C C (C, k) = \frac{σ_{r}^{2}}{σ_{r}^{2} + (σ_{r c}^{2} + σ_{e}^{2}) / k} or \frac{σ_{r}^{2}}{σ_{r}^{2} + σ_{e}^{2} / k}$ $ICC(C,k) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_{rc}^2 + \sigma_e^2)/k}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + \sigma_e^2/k}$ $I C C (A, 1) = \frac{σ_{r}^{2}}{σ_{r}^{2} + (σ_{c}^{2} + σ_{r c}^{2} + σ_{e}^{2})} or \frac{σ_{r}^{2}}{σ_{r}^{2} + (σ_{c}^{2} + σ_{e}^{2})}$ $ICC(A,1) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_{rc}^2 + \sigma_e^2)}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_e^2)}$ $I C C (A, k) = \frac{σ_{r}^{2}}{σ_{r}^{2} + (σ_{c}^{2} + σ_{r c}^{2} + σ_{e}^{2}) / k} or \frac{σ_{r}^{2}}{σ_{r}^{2} + (σ_{c}^{2} + σ_{e}^{2}) / k}$ $ICC(A,k) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_{rc}^2 + \sigma_e^2)/k}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_e^2)/k}$

Bạn cũng có thể ước tính các giá trị này bằng cách sử dụng bình phương trung bình từ ANOVA:

Ước tính ICC hai chiều :
$I C C (C, 1) = \frac{M S_{R} - M S_{E}}{M S_{R} + (k - 1) M S_{E}}$ $ICC(C,1) = \frac{MS_R - MS_E}{MS_R + (k-1)MS_E}$ $I C C (C, k) = \frac{M S_{R} - M S_{E}}{M S_{R}}$ $ICC(C,k) = \frac{MS_R-MS_E}{MS_R}$ $I C C (A, 1) = \frac{M S_{R} - M S_{E}}{M S_{R} + (k - 1) M S_{E} + k / n (M S_{C} - M S_{E})}$ $ICC(A,1) = \frac{MS_R-MS_E}{MS_R + (k-1)MS_E + k/n(MS_C-MS_E)}$ $I C C (A, k) = \frac{M S_{R} - M S_{E}}{M S_{R} + (M S_{C} - M S_{E}) / n}$ $ICC(A,k) = \frac{MS_R-MS_E}{MS_R + (MS_C-MS_E)/n}$

Bạn có thể tính các hệ số này trong R bằng cách sử dụng gói ir :

icc(ratings, model = c("oneway", "twoway"),
type = c("consistency", "agreement"),
unit = c("single", "average"), r0 = 0, conf.level = 0.95)

Người giới thiệu

McGraw, KO, & Wong, SP (1996). Hình thành các suy luận về một số hệ số tương quan nội hàm. Phương pháp tâm lý, 1 (1), 30 bóng46.

Cây bụi, PE, & Fleiss, JL (1979). Tương quan nội bộ: Sử dụng trong việc đánh giá độ tin cậy của người đánh giá. Bản tin tâm lý, 86 (2), 420

— Jeffrey Girard
nguồn

Cảm ơn câu trả lời tuyệt vời! Trong mô hình hai chiều trong icc trong R, làm thế nào để chúng ta biểu diễn lựa chọn ngẫu nhiên các bộ đo trên mỗi hàng? Ý tôi là, hãy tưởng tượng chúng ta có một nhóm gồm 100 người và mỗi môn được khoảng 5-10 người trong số họ. Một kịch bản như vậy có thể được xử lý bởi gói icc?

— michal

Mỗi rater nên có cột riêng trong ma trận bạn cung cấp cho hàm icc. Mặt khác, tính toán là giống nhau cho các mô hình hiệu ứng ngẫu nhiên và hỗn hợp - sự khác biệt chính là trong diễn giải (mức độ tổng quát của các kết quả có thể được xem xét).

— Jeffrey Girard

Cảm ơn câu trả lời! Tôi đang cố gắng làm điều đó, có hầu hết NA trong các ô (và chỉ có một vài giá trị với số thực trên mỗi cột, trong đó một người đánh giá cụ thể đã xếp hạng một chủ đề tương ứng với một hàng). Tuy nhiên, trong đầu ra tôi nhận được một văn bản nói rằng không có đối tượng nào được ghi lại (ví dụ: Chủ đề = 0 Raters = 9). Có lẽ nó có nghĩa là bất cứ nơi nào ít nhất một NA được tìm thấy, toàn bộ hàng được lọc ra? Nhưng sau đó, làm thế nào tôi có thể biểu thị xếp hạng bị thiếu từ một người đánh giá?

— michal

Hmm có thể là một hạn chế của chức năng icc cụ thể này. Tôi có một kịch bản MATLAB có thể xử lý tình huống này. Bạn có tình cờ truy cập MATLAB không?

— Jeffrey Girard

Vâng, hãy xem trang web của tôi: mrelabilities.jmgirard.com

— Jeffrey Girard