Làm thế nào để tôi có được một nhóm người để xếp hạng chung một nhóm các đối tượng?


8

Tôi làm việc cho một tổ chức giám sát khoảng 180 trường học trên cả nước. Chúng tôi thường xuyên thu thập dữ liệu kết quả từ các trường này và xếp hạng chúng. Tôi đã được yêu cầu làm một cuộc khảo sát của văn phòng quốc gia (khoảng 100 người) để xác định các trường nhận thức tốt nhất và tồi tệ nhất là gì, dựa trên ấn tượng không dựa trên dữ liệu của nhân viên về chất lượng trường học.

Một số thông tin bổ sung:

  • Không phải tất cả các nhân viên đều quen thuộc với tất cả các trường. Khi được yêu cầu xếp hạng một trường "Tôi không biết gì về trường này" cần phải là một lựa chọn.
  • Một số nhân viên làm việc với một tập hợp con cụ thể của các trường, vì vậy kiến ​​thức của các nhân viên này rất tốt cho các trường cụ thể này.

Cách tiếp cận đầu tiên của tôi sẽ là tạo ngẫu nhiên các bộ gồm 10 trường hoặc hơn, với mỗi trường nằm trong 6 bộ hoặc hơn. Sau đó yêu cầu mỗi nhân viên xếp hạng từng bộ, cho biết trường nào chưa biết. Sau đó tôi có thể tính trung bình thứ hạng cho từng trường trên toàn bộ trường và sử dụng đó làm thứ hạng toàn cầu.

Là phương pháp được mô tả ở trên khả thi? Có cách nào tốt hơn? Nếu cách này hoạt động, tôi cần bao nhiêu điểm dữ liệu cho mỗi trường để xếp hạng tổng hợp là đại diện?


Đây có phải chính xác là sự so sánh Cô gái trong truyền thuyết và phim của Facebook không? Thuật toán xếp hạng cờ vua có hoạt động ở đây với một loạt các cặp ngẫu nhiên không?

Câu trả lời:


1

Bạn có thể sử dụng mô hình kiểu Bradley-Terry-Luce dựa trên so sánh cặp. Ngẫu nhiên (hoặc nói cách khác) tạo ra một loạt các cặp trường và mỗi nhân viên nhìn vào một số cặp và cho bạn biết cặp nào tốt hơn (hoặc "Tôi không biết" nếu họ không quen thuộc với một hoặc cả hai trường ). Sau đó cắm dữ liệu này vào mô hình để có được thứ hạng.

Có một gói BradleyTerry2 cho R phù hợp với các mô hình này.

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.