Tôi muốn trả lời trên cơ sở phương pháp luận, hơn là làm thế nào để "khắc phục" tình huống. Trong một bối cảnh khác, tôi đã hỗ trợ làm việc trên một hệ thống xếp hạng và phân loại, và thấy rằng thỏa thuận giữa các bên là thấp đáng thất vọng. Hai con đường đã được xem xét
- Thay đổi cách xác định thỏa thuận xếp hạng và xác định những người dường như "hiểu" nhiệm vụ, hoặc
- Tinh chỉnh các định nghĩa được sử dụng, cùng với hướng dẫn và ví dụ cung cấp cho người xếp loại, để họ có thể dễ dàng hiểu cách đánh giá mọi thứ hơn.
Trong bối cảnh đầu tiên, toàn bộ phương pháp và kết quả có thể bị lãng phí chỉ vì độ tin cậy giữa các nhà nghiên cứu thấp. Nó chỉ ra rằng các định nghĩa ban đầu là xấu hoặc những người xếp loại được đưa ra các hướng dẫn kém. Nếu tôi đi dọc theo con đường đó, tôi chắc chắn có vấn đề.
Trong trường hợp thứ hai, thỏa thuận giữa những người được phê chuẩn là rất tốt. Vì họ đánh giá khá nhiều mặt hàng, họ cũng có thể đưa ra phản hồi khi họ nghĩ rằng các định nghĩa và hướng dẫn ban đầu là không thỏa đáng. Cuối cùng, phương pháp này rất có thể tái sản xuất.
Dựa vào đó, tôi sẽ không sửa đổi bộ chỉ số của bạn, mà quay lại các định nghĩa và hướng dẫn ban đầu. Bất kỳ sự mày mò nào sau khi đánh giá là một vấn đề, mặc dù nó có thể hữu ích như một kiểm tra chất lượng. Đôi khi có những người sẽ làm những gì họ muốn, bất kể hướng dẫn được đưa ra. Với các phương pháp thống kê tốt, thật dễ dàng để xác định chúng và cân nhắc đóng góp của chúng một cách thích hợp.
Bây giờ, nếu tôi nhầm và bạn không có kế hoạch thu thập thêm, tức là dữ liệu của bạn đã được thu thập và thực hiện, những gì bạn có thể làm là PCA hoặc một cái gì đó tương tự, và xem liệu bạn có thể hiểu được sự khác biệt như thế nào bác sĩ (hoặc bệnh nhân) cụm.
Các bệnh nhân có được tiếp xúc với tất cả các bác sĩ cùng một lúc không (ví dụ thông qua ghi video) hoặc họ được tiếp xúc liên tục và có cơ hội sửa đổi bản trình bày của họ với mỗi tương tác? Nếu sau này, có thể có vấn đề với bệnh nhân, và không phải các bác sĩ.