Tính toán phương sai Kappa của Cohen (và các lỗi tiêu chuẩn)

Thống kê Kappa ( ) được Cohen [1] giới thiệu vào năm 1960 để đo lường sự thỏa thuận giữa hai người. Phương sai của nó, tuy nhiên, đã là một nguồn mâu thuẫn trong một thời gian khá lâu.$\kappa$

Câu hỏi của tôi là về cách tính toán phương sai tốt nhất được sử dụng với các mẫu lớn. Tôi có xu hướng tin rằng cái được thử nghiệm và xác minh bởi Fleiss [2] sẽ là lựa chọn đúng đắn, nhưng đây dường như không phải là bản duy nhất được công bố có vẻ đúng (và được sử dụng trong suốt tài liệu gần đây).

Ngay bây giờ tôi có hai cách cụ thể để tính toán phương sai mẫu lớn không triệu chứng của nó:

• Phương pháp sửa lỗi được công bố bởi Fleiss, Cohen và Everitt [2];
• Phương pháp delta có thể được tìm thấy trong cuốn sách của Colgaton, 2009 [4] (trang 106).

Để minh họa một số nhầm lẫn này, đây là một trích dẫn của Fleiss, Cohen và Everitt [2], nhấn mạnh của tôi:

Nhiều nỗ lực của con người đã bị nguyền rủa với những thất bại lặp đi lặp lại trước khi đạt được thành công cuối cùng. Tỷ lệ của đỉnh Everest là một ví dụ. Việc khám phá ra đoạn Tây Bắc là một giây. Đạo hàm của một lỗi tiêu chuẩn chính xác cho kappa là một phần ba .

Vì vậy, đây là một bản tóm tắt nhỏ về những gì đã xảy ra:

• 1960: Cohen xuất bản bài báo "Một hệ số thỏa thuận cho quy mô danh nghĩa" [1] giới thiệu biện pháp thỏa thuận điều chỉnh cơ hội giữa hai người được gọi là . Tuy nhiên, ông công bố các công thức không chính xác cho các tính toán phương sai.$\kappa$
• 1968: Everitt cố gắng sửa chúng, nhưng công thức của anh ta cũng không đúng.
• 1969: Fleiss, Cohen và Everitt xuất bản các công thức chính xác trong bài báo "Lỗi tiêu chuẩn mẫu lớn của Kappa và Kappa có trọng số" [2].
• 1971: Fleiss xuất bản một thống kê (nhưng khác) dưới cùng tên, với các công thức không chính xác cho phương sai.$\kappa$
• 1979: Fleiss Nee và Landis xuất bản các công thức đã sửa cho Fleiss ' .$\kappa$

Lúc đầu, hãy xem xét các ký hiệu sau. Ký hiệu này ngụ ý toán tử tổng nên được áp dụng cho tất cả các phần tử theo chiều mà dấu chấm được đặt:

$\ \ \ p_{i.} = \displaystyle\sum_{j=1}^{k} p_{ij}$ p . j = k Σ i = 1 p i j$\ \ \ p_{.j} = \displaystyle\sum_{i=1}^{k} p_{ij}$

Bây giờ, người ta có thể tính Kappa là:

$\ \ \ \hat\kappa = \displaystyle\frac{p_o-p_c}{1-p_e}$

Trong đó

$\ \ \ p_o = \displaystyle\sum_{i=1}^{k} p_{ii}$ là thỏa thuận được quan sát và

$\ \ \ p_c = \displaystyle\sum_{i=1}^{k} p_{i.} p_{.i}$ là thỏa thuận cơ hội.

Cho đến nay, phép tính phương sai chính xác cho của Cohen được đưa ra bởi:$\kappa$

$\ \ \ \newcommand{\var}{\mathrm{var}}\widehat{\var}(\hat{\kappa}) = \frac{1}{N(1-p_c)^4} \{ \displaystyle\sum_{i=1}^{k} p_{ii}[(1-p_o) - (p_{.i} + p_{i.})(1-p_o)]^2 \\ \ \ \ + (1-p_o)^2 \displaystyle\sum_{i=1}^{k} \displaystyle\sum_{j=1 \atop i\not=j}^{k} p_{ij} (p_{.i} + p_{j.})^2 - (p_op_c-2p_c+p_o)^2 \}$

và theo giả thuyết null, nó được đưa ra bởi:

$\ \ \ \widehat{\var}(\hat{\kappa}) = \frac{1}{N(1-p_c)^2} \{ \displaystyle\sum_{i=1}^{k} p_{.i}p_{i.} [1- (p_{.i} + p_{i.})^2] + \displaystyle\sum_{i=1}^{k} \displaystyle\sum_{j=1, i\not=j}^{k} p_{.i}p_{j.}(p_{.i} + p_{j.})^2 - p_c^2 \}$

Phương pháp của Congalton dường như dựa trên phương pháp delta để thu được phương sai (Agresti, 1990; Agresti, 2002); tuy nhiên tôi không chắc chắn về phương thức delta là gì hoặc tại sao nó phải được sử dụng. Phương sai , theo phương pháp này, được đưa ra bởi:$\kappa$

$\ \ \ \widehat{\var}(\hat{\kappa}) = \frac{1}{n} \{ \frac{\theta_1 (1-\theta_1)}{(1-\theta_2)^2} + \frac{2(1-\theta_1)(2\theta_1\theta_2-\theta_3)}{(1-\theta_2)^3} + \frac{(1-\theta_1)^2(\theta_4-4\theta_2^2)}{(1-\theta_2)^4} \}$

trong đó

$\ \ \ \theta_1 = \frac{1}{n} \displaystyle\sum_{i=1}^{k} n_{ii}$

$\ \ \ \theta_2 = \frac{1}{n^2} \displaystyle\sum_{i=1}^{k} n_{i+}n_{+i}$

$\ \ \ \theta_3 = \frac{1}{n^2} \displaystyle\sum_{i=1}^{k} n_{ii}(n_{i+} + n_{+i})$

$\ \ \ \theta_4 = \frac{1}{n^3} \displaystyle\sum_{i=1}^{k} \displaystyle\sum_{j=1}^{k} n_{ij}(n_{j+} + n_{+i})^2$

(Congalton sử dụng một chỉ số thay vì a , Nhưng dường như điều đó cũng có nghĩa tương tự. Ngoài ra, tôi cho rằng phải là một ma trận đếm, tức là ma trận nhầm lẫn trước khi được chia cho số lượng mẫu như liên quan theo công thức )$+$$.$$n_{ij}$$p_{ij} = \frac{n_{ij}}{\mathrm{samples}}$

Một phần kỳ lạ khác là cuốn sách của Colgaton dường như đề cập đến bài báo gốc của Cohen, nhưng dường như không trích dẫn các sửa đổi về phương sai Kappa do Fleiss et al xuất bản, cho đến khi ông tiếp tục thảo luận về Kappa có trọng số. Có lẽ ấn phẩm đầu tiên của ông được viết khi công thức thực sự cho kappa vẫn bị mất trong sự nhầm lẫn?

Có ai đó có thể giải thích tại sao những khác biệt? Hoặc tại sao một người nào đó sẽ sử dụng phương sai delta thay vì phiên bản đã sửa bởi Fleiss?

[1]: Hạm đội, Joseph L.; Cohen, Jacob; Everitt, BS; Lỗi tiêu chuẩn mẫu lớn của kappa và kappa có trọng số. Bản tin tâm lý, tập 72 (5), tháng 11 năm 1969, 323-327. doi: 10.1037 / h0028106

[2]: Cohen, Jacob (1960). Một hệ số thỏa thuận cho quy mô danh nghĩa. Đo lường giáo dục và tâm lý 20 (1): 37 trận46. DOI: 10.1177 / 001316446002000104.

[3]: Alan Agresti, Phân tích dữ liệu phân loại, phiên bản 2. John Wiley và con trai, 2002.

[4]: Russell G. Congalton và Green, K.; Đánh giá tính chính xác của dữ liệu được cảm nhận từ xa: Nguyên tắc và thông lệ, phiên bản 2. 2009.

Tôi không biết cách nào trong hai cách tính phương sai là thích nhưng tôi có thể cung cấp cho bạn cách thứ ba, thực tế và hữu ích để tính khoảng tin cậy / khoảng tin cậy bằng cách sử dụng ước lượng Bayes của Kappa.

Mã R và JAGS bên dưới tạo các mẫu MCMC từ phân phối sau của các giá trị đáng tin cậy của Kappa được cung cấp dữ liệu.

library(rjags)
library(coda)
library(psych)

# Creating some mock data
rater1 <- c(1, 2, 3, 1, 1, 2, 1, 1, 3, 1, 2, 3, 3, 2, 3) 
rater2 <- c(1, 2, 2, 1, 2, 2, 3, 1, 3, 1, 2, 3, 2, 1, 1) 
agreement <- rater1 == rater2
n_categories <- 3
n_ratings <- 15

# The JAGS model definition, should work in WinBugs with minimal modification
kohen_model_string <- "model {
  kappa <- (p_agreement - chance_agreement) / (1 - chance_agreement)
  chance_agreement <- sum(p1 * p2)

  for(i in 1:n_ratings) {
    rater1[i] ~ dcat(p1)
    rater2[i] ~ dcat(p2)
    agreement[i] ~ dbern(p_agreement)
  }

  # Uniform priors on all parameters
  p1 ~ ddirch(alpha)
  p2 ~ ddirch(alpha)
  p_agreement ~ dbeta(1, 1)
  for(cat_i in 1:n_categories) {
    alpha[cat_i] <- 1
  }
}"

# Running the model
kohen_model <- jags.model(file = textConnection(kohen_model_string),
                 data = list(rater1 = rater1, rater2 = rater2,
                   agreement = agreement, n_categories = n_categories,
                   n_ratings = n_ratings),
                 n.chains= 1, n.adapt= 1000)

update(kohen_model, 10000)
mcmc_samples <- coda.samples(kohen_model, variable.names="kappa", n.iter=20000)

Biểu đồ dưới đây cho thấy một biểu đồ mật độ của các mẫu MCMC từ phân phối sau của Kappa.

Sử dụng các mẫu MCMC hiện tại chúng ta có thể sử dụng giá trị trung bình làm ước tính của Kappa và sử dụng các lượng tử 2,5% và 97,5% làm khoảng tin cậy / tin cậy 95%.

summary(mcmc_samples)$quantiles
##      2.5%        25%        50%        75%      97.5% 
## 0.01688361 0.26103573 0.38753814 0.50757431 0.70288890 

So sánh điều này với các ước tính "cổ điển" được tính toán theo Fleiss, Cohen và Everitt:

cohen.kappa(cbind(rater1, rater2), alpha=0.05)
##                  lower estimate upper
## unweighted kappa  0.041     0.40  0.76

Cá nhân tôi thích khoảng tin cậy Bayes hơn khoảng tin cậy cổ điển, đặc biệt vì tôi tin rằng khoảng tin cậy Bayes có các thuộc tính mẫu nhỏ tốt hơn. Một mối quan tâm chung mà mọi người có xu hướng có với các phân tích Bayes là bạn phải xác định niềm tin trước đó về việc phân phối các tham số. May mắn thay, trong trường hợp này, thật dễ dàng để xây dựng các mục sư "khách quan" bằng cách đơn giản đặt các phân phối thống nhất trên tất cả các tham số. Điều này sẽ làm cho kết quả của mô hình Bayes rất giống với phép tính "cổ điển" của hệ số Kappa.

Người giới thiệu

Sanjib Basu, Mousumi Banerjee và Ananda Sen (2000). Suy luận Bayes cho Kappa từ các nghiên cứu đơn và đa. Sinh trắc học , Tập. 56, số 2 (tháng sáu, 2000), trang 577-582