Làm thế nào để tôi đặt hàng hoặc xếp hạng một bộ các chuyên gia?

Tôi có một cơ sở dữ liệu chứa một số lượng lớn các chuyên gia trong một lĩnh vực. Đối với mỗi chuyên gia đó, tôi có nhiều điểm thuộc tính / điểm dữ liệu như:

• số năm kinh nghiệm.
• giấy phép
• số đánh giá
• nội dung văn bản của những đánh giá
• Xếp hạng 5 sao cho mỗi đánh giá đó, cho một số yếu tố như tốc độ, chất lượng, v.v.
• giải thưởng, assosciations, hội nghị, vv

Tôi muốn cung cấp một đánh giá cho các chuyên gia nói trong số 10 dựa trên tầm quan trọng của họ. Một số điểm dữ liệu có thể bị thiếu đối với một số chuyên gia. Bây giờ câu hỏi của tôi là làm thế nào để tôi đưa ra một thuật toán như vậy? Bất cứ ai có thể chỉ cho tôi một số tài liệu có liên quan?

Ngoài ra tôi lo ngại rằng như với tất cả các đánh giá / đánh giá, các con số có thể tập hợp gần một số giá trị. Ví dụ, hầu hết trong số họ cuối cùng có thể nhận được 8 hoặc 5. Có cách nào để làm nổi bật sự khác biệt của litle thành sự khác biệt lớn hơn về điểm số đối với chỉ một số thuộc tính.

Một số cuộc thảo luận khác mà tôi cho rằng có thể có liên quan:

• Hệ thống xếp hạng Bayes với nhiều danh mục cho mỗi xếp hạng
• BẠN sẽ tính toán xếp hạng phim IMDB như thế nào?
• Gợi ý linh mục từ các chuyên gia
• Một số thuật toán xếp hạng tốt nhất với đầu vào là phiếu lên và xuống là gì?

Mọi người đã phát minh ra nhiều hệ thống để đánh giá mọi thứ (như chuyên gia) trên nhiều tiêu chí: truy cập trang Wikipedia về phân tích quyết định Đa tiêu chí để biết danh sách. Tuy nhiên, không được đại diện tốt ở đây là một trong những phương pháp phòng thủ nhất hiện có: Lý thuyết định giá đa thuộc tính. Điều này bao gồm một tập hợp các phương pháp để đánh giá sự đánh đổi giữa các bộ tiêu chí để (a) xác định một cách thích hợp để thể hiện lại các giá trị của các biến riêng lẻ và (b) cân nhắc các giá trị được biểu thị lại để đạt được điểm xếp hạng . Các nguyên tắc rất đơn giản và có thể phòng thủ, toán học là không thể tin được, và không có gì lạ mắt về lý thuyết. Nhiều người nên biết và thực hành các phương pháp này hơn là phát minh ra các hệ thống tính điểm tùy ý.

Cuối cùng, điều này có thể không chỉ là một bài tập thống kê. PCA là một phương pháp định lượng rất mạnh mẽ sẽ cho phép bạn tạo điểm hoặc trọng số trên một vài thành phần chính đầu tiên mà bạn có thể sử dụng để xếp hạng. Tuy nhiên, việc giải thích những gì các thành phần chính là rất khó khăn. Chúng là các cấu trúc định lượng. Họ không phải là người biện chứng. Vì vậy, để giải thích những gì họ thực sự có nghĩa là đôi khi không thể. Điều này đặc biệt đúng nếu bạn có một đối tượng không định lượng. Họ sẽ không biết bạn đang nói về cái gì Và, sẽ nghĩ về PCA của bạn như một hộp đen khó hiểu.

Thay vào đó, tôi chỉ đơn giản là sắp xếp tất cả các biến có liên quan và sử dụng một hệ thống trọng số dựa trên những gì người ta nghĩ rằng trọng số phải là.

Tôi nghĩ rằng nếu bạn phát triển điều này cho người ngoài, khách hàng, người dùng, sẽ thật tuyệt nếu bạn có thể linh hoạt trong việc quyết định trọng số cho người dùng.
Một số người dùng có thể đánh giá nhiều năm kinh nghiệm hơn nhiều so với chứng nhận và ngược lại. Nếu bạn có thể để lại quyết định đó cho họ. Bằng cách này, thuật toán của bạn không phải là hộp đen mà họ không hiểu và họ không thoải mái. Bạn giữ nó hoàn toàn minh bạch và tùy thuộc vào họ dựa trên đánh giá tương đối của chính họ về những gì quan trọng.

Bạn có nghĩ rằng bạn có thể định lượng tất cả các thuộc tính đó?

Nếu có, tôi sẽ đề nghị thực hiện phân tích thành phần chính. Trong trường hợp chung khi tất cả các mối tương quan là dương (và nếu chúng không có, bạn có thể dễ dàng đến đó bằng cách sử dụng một số biến đổi), thành phần chính đầu tiên có thể được coi là thước đo tầm quan trọng của chuyên gia, vì nó là trọng số trung bình của tất cả các thuộc tính (và các trọng số sẽ là đóng góp tương ứng của các biến - Theo quan điểm này, chính phương thức sẽ tiết lộ tầm quan trọng của từng thuộc tính). Điểm số mà mỗi chuyên gia đạt được trong thành phần chính đầu tiên là những gì bạn cần để xếp hạng chúng.