Làm thế nào để đo lường độ tin cậy của xếp hạng đồng thuận (vấn đề từ cuốn sách Kemeny-Snell)

Giả sử rằng mỗi chuyên gia được yêu cầu xếp hạng một bộ đối tượng theo thứ tự hoặc sở thích. Hãy cho phép quan hệ trong bảng xếp hạng.$k$$n$

John Kemeny và Laurie Snell trong cuốn sách "Các mô hình toán học trong khoa học xã hội" năm 1962 của họ đề xuất để giải quyết vấn đề tiếp theo:

DỰ ÁN . Phát triển thước đo độ tin cậy của xếp hạng đồng thuận của các chuyên gia . Ví dụ, điều này có thể dựa trên sự thay đổi lớn nhất có thể có thể được thực hiện bằng cách thay đổi thứ hạng của một chuyên gia. (Phải chú ý đến khả năng xếp hạng nhiều sự đồng thuận.) Chứng minh một số định lý liên quan đến các thỏa thuận đáng tin cậy nhất và ít tin cậy nhất có thể cho một cho trước .$1$$k$$k$

Cuốn sách đưa ra ký hiệu cho bảng xếp hạng và phương pháp tổng hợp thứ hạng (tức là có được một thứ hạng "tập thể" từ nhiều "cá nhân"). Nhưng không có câu trả lời cho vấn đề trên.

Đầu tiên, tôi nghĩ về hệ số phù hợp của Kendall$W$ , nhưng có vẻ như nó không phù hợp. Mọi ý tưởng đều được chào đón!

Là thước đo độ tin cậy của xếp hạng đồng thuận của các chuyên gia bạn có thể sử dụng -extends của Emond và Mason. Để được giải thích sâu rộng, hãy xem: http : // onlinel Library.wiley.com/doi/10.1002/mcda.313/full hoặc http://www.scTHERirect.com/science/article/pii/S0377221715008048$k$$\tau$