Người ta có thể sử dụng Cohen's Kappa cho hai bản án không?

Tôi đang sử dụng Kappa của Cohen để tính toán thỏa thuận giữa hai thẩm phán.

Nó được tính như sau:

$\frac{P(A) - P(E)}{1 - P(E)}$

Trong đó là tỷ lệ của thỏa thuận và xác suất của thỏa thuận tình cờ. $P(A)$ $P(E)$

Bây giờ cho tập dữ liệu sau, tôi nhận được kết quả mong đợi:

User A judgements: 
  - 1, true
  - 2, false
User B judgements: 
  - 1, false
  - 2, false
Proportion agreed: 0.5
Agreement by chance: 0.625
Kappa for User A and B: -0.3333333333333333

Chúng ta có thể thấy rằng cả hai thẩm phán đã không đồng ý rất tốt. Tuy nhiên, trong trường hợp sau đây khi cả hai thẩm phán đánh giá một tiêu chí, kappa ước tính bằng không:

User A judgements: 
  - 1, false
User B judgements: 
  - 1, false
Proportion agreed: 1.0
Agreement by chance: 1.0
Kappa for User A and B: 0

Bây giờ tôi có thể thấy rằng thỏa thuận tình cờ rõ ràng là 1, điều này dẫn đến kappa bằng 0, nhưng điều này có được coi là kết quả đáng tin cậy không? Vấn đề là tôi thường không có nhiều hơn hai phán đoán cho mỗi tiêu chí, vì vậy tất cả những điều này sẽ không bao giờ đánh giá bất kỳ kappa nào lớn hơn 0, mà tôi nghĩ là không đại diện.

Tôi có đúng với tính toán của tôi không? Tôi có thể sử dụng một phương pháp khác để tính toán thỏa thuận không?

Ở đây chúng ta có thể thấy rằng kappa hoạt động tốt cho nhiều phán đoán:

User A judgements: 
  - 1, false
  - 2, true
  - 3, false
  - 4, false
  - 5, true
User A judgements: 
  - 1, true
  - 2, true
  - 3, false
  - 4, true
  - 5, false
Proportion agreed: 0.4
Agreement by chance: 0.5
Kappa for User A and B: -0.19999999999999996

reliability information-retrieval

— slhck
nguồn

Đối với độ tin cậy giữa các nhà nghiên cứu với kết quả nhị phân, tôi nghĩ người ta thường sử dụng hệ số tetrachoric.

— shabbychef

Bạn có thể giải thích về điều đó? Tôi chắc chắn không phải là chuyên gia khi nói đến thống kê và dường như tôi không thể tìm ra cách tiếp cận thẳng để tính hệ số tetrachoric.

— slhck

Tôi không nghĩ bạn đúng trong tính toán đầu tiên. Nếu tôi không nhầm, thỏa thuận tình cờ sẽ là 0,5, cho kappa bằng 0.

— vào

Tôi không thực sự hiểu information-retrievalthẻ ở đây.

— chl

Tôi không biết, tôi đang làm một nhiệm vụ truy xuất thông tin, nơi mọi người đánh giá liệu các tài liệu có liên quan hay không, do đó là thống kê kappa. Nhưng mọi người đều có thể thử lại bài viết ở đây, vì vậy hãy thoải mái làm như vậy! @onestop, theo hướng dẫn tiêu chuẩn này, các số của tôi là chính xác, các lề được gộp lần lượt là 0,75 và 0,25, và cả hai bình phương và cộng với nhau bằng nhau .625

— slhck

$\kappa$ $\kappa$

$p=0.5$

— caracal
nguồn

Tôi thấy câu trả lời của caracal rất thuyết phục, nhưng tôi cũng tin rằng Kappa của Cohen chỉ có thể chiếm một phần của những gì tạo nên độ tin cậy giữa các bên. % Đơn giản của xếp hạng trong thỏa thuận chiếm một phần khác và mối tương quan giữa xếp hạng, một phần ba. Phải mất cả ba phương pháp để có được một bức tranh hoàn chỉnh. Để biết chi tiết, vui lòng xem http://pareonline.net/getvn.asp?v=9&n=4 :

"[...] thực tiễn chung về việc mô tả độ tin cậy giữa các bên là một khái niệm thống nhất, duy nhất là không chính xác nhất, và tồi tệ nhất có khả năng gây hiểu lầm."

— rolando2
nguồn