Tôi làm việc cho một tổ chức giám sát khoảng 180 trường học trên cả nước. Chúng tôi thường xuyên thu thập dữ liệu kết quả từ các trường này và xếp hạng chúng. Tôi đã được yêu cầu làm một cuộc khảo sát của văn phòng quốc gia (khoảng 100 người) để xác định các trường nhận thức tốt nhất và tồi tệ nhất là gì, dựa trên ấn tượng không dựa trên dữ liệu của nhân viên về chất lượng trường học.
Một số thông tin bổ sung:
- Không phải tất cả các nhân viên đều quen thuộc với tất cả các trường. Khi được yêu cầu xếp hạng một trường "Tôi không biết gì về trường này" cần phải là một lựa chọn.
- Một số nhân viên làm việc với một tập hợp con cụ thể của các trường, vì vậy kiến thức của các nhân viên này rất tốt cho các trường cụ thể này.
Cách tiếp cận đầu tiên của tôi sẽ là tạo ngẫu nhiên các bộ gồm 10 trường hoặc hơn, với mỗi trường nằm trong 6 bộ hoặc hơn. Sau đó yêu cầu mỗi nhân viên xếp hạng từng bộ, cho biết trường nào chưa biết. Sau đó tôi có thể tính trung bình thứ hạng cho từng trường trên toàn bộ trường và sử dụng đó làm thứ hạng toàn cầu.
Là phương pháp được mô tả ở trên khả thi? Có cách nào tốt hơn? Nếu cách này hoạt động, tôi cần bao nhiêu điểm dữ liệu cho mỗi trường để xếp hạng tổng hợp là đại diện?