Làm thế nào để xác định công bằng người chiến thắng cho một hội chợ khoa học khu vực?

Tôi cần giúp đỡ để tìm ra cách chính xác để tính người chiến thắng tại hội chợ khoa học của chúng tôi. Tôi không muốn sự thiếu hiểu biết về thống kê và toán học của mình cản trở cơ hội chiến thắng của một đứa trẻ. (rất nhiều học bổng và lợi ích thăng tiến đang bị đe dọa). Cảm ơn trước sự giúp đỡ của bạn.

Đầu tiên một nền tảng nhỏ về cách chúng tôi có những thứ được thiết lập:

Hội chợ của chúng tôi thường có khoảng 600 dự án sinh viên. Các dự án này được hoàn thành và trình bày bởi từng sinh viên hoặc một nhóm sinh viên. Một nhóm có thể bao gồm 2 hoặc 3 đứa trẻ.

Học sinh được chia thành hai bộ phận: Tiểu học (lớp 6-8) và Trung học (lớp 9-12). Mỗi bộ phận có các loại khác nhau: 9 loại cho các dự án Tiểu học và 17 loại cho các dự án phân chia thứ cấp.

Giải thưởng được trao cho vị trí thứ nhất, thứ hai và thứ ba cho mỗi hạng mục trong mỗi bộ phận. Giải thưởng đề cập danh dự cũng được trao cho các vị trí ngoài vị trí thứ ba.

Đối với mỗi dự án, chúng tôi phân công từ 4 đến 6 giám khảo. Chúng tôi thực hiện các nhiệm vụ của mình dựa trên trình độ của các thẩm phán, sở thích thể loại của họ và kinh nghiệm đánh giá trong quá khứ của họ. (nhiều kinh nghiệm hơn được giao cho các dự án phân chia cao cấp).

Làm thế nào các thẩm phán chấm điểm một dự án:

Đối với mỗi dự án có 5 tiêu chí được phân công điểm. Mỗi tiêu chí có thể được trao từ 1 đến 20 điểm. Tiêu chí chung là:

• Mục tiêu tổng thể + giả thuyết + sử dụng tài nguyên ( 1..20 )
• Thiết kế + thủ tục ( 1..20 )
• Thu thập dữ liệu + kết quả ( 1..20 )
• Thảo luận + kết luận ( 1..20 )
• Phỏng vấn ( 1..20 )

Đối với các dự án nhóm, tiêu chí thứ sáu được đánh giá là "khấu trừ nhóm", trong đó một thẩm phán có thể trừ điểm ( tối đa 15 ) cho các đồng đội không tham gia hoặc không xuất hiện.

• Khấu trừ đội ( 0 ..- 15 )

Vì vậy, một thẩm phán có thể ghi được mọi dự án từ 5 đến 100 điểm. Nếu dự án là một dự án nhóm, điểm số có thể giảm 15 điểm.

Dữ liệu thô:

Trong suốt vài giờ, chúng tôi thu thập tới 3.600 điểm từ các giám khảo. Các điểm số này được nhập vào cơ sở dữ liệu nơi tôi có thể thực hiện tất cả các loại sắp xếp, tính trung bình, tính toán độ lệch chuẩn, v.v. Tôi chỉ không biết chính xác mình nên làm gì với những điểm số thô này. Ngay bây giờ, tôi đang thực hiện một mức trung bình đơn giản cho mỗi dự án, nhưng tôi lo lắng rằng tôi không điều chỉnh các thành kiến ​​của thẩm phán, các khoản khấu trừ của nhóm hoặc bất kỳ số lượng nào khác mà tôi không xem xét.

Kết quả như ý:

Cuối cùng, tôi muốn xử lý điểm số để tôi có thể trao các dự án vị trí thứ nhất, thứ hai và thứ ba cho mỗi hạng mục, và sau đó vinh dự đề cập đến các giải thưởng cho các vị trí tiếp theo. Tôi muốn tự tin rằng các vị trí đã được tính toán chính xác và những đứa trẻ giành chiến thắng xứng đáng được công nhận (và giải thưởng).

Cảm ơn rất nhiều vì đã đọc câu hỏi dài của tôi và sự giúp đỡ của bạn để tìm ra điều này. Tôi sẽ vui lòng trả lời bất kỳ câu hỏi tiếp theo nào bạn có thể có.

Tôi nghĩ rằng "câu trả lời" có thể là một nhãn hiệu quá hào phóng cho những suy nghĩ của tôi ở đây. Tôi thích phân tích dữ liệu khám phá, và tôi là một fan hâm mộ boxplot lớn, vì vậy điều đó sẽ được phản ánh trong các bình luận của tôi ..

Xin chào, đó là rất nhiều điểm. :) Có vẻ như bạn có ít nhất 78 dự án trong số 600 dự án lọt vào top 3 ( [9+17]x3) cộng với những đề cập đáng trân trọng. Thông thường tôi sẽ nói lấy mẫu từ đầu và giữa của mỗi loại để tiến hành kiểm toán chấm điểm, nhưng điều đó sẽ rất khó chịu trong trường hợp của bạn vì những con số bạn có - và đó chỉ là bạn hoàn thành việc chấm điểm. :)

Tôi hy vọng bạn có thể có một gói thống kê có sẵn cho bạn, vì tôi có một số gợi ý mà bạn có thể sử dụng dưới đây.

Bạn đã nhìn vào sự lây lan của điểm số trong mỗi thể loại? Là 3 dự án hàng đầu, hoặc 5, hoặc 8 rất gần với điểm số? Điều đó sẽ gợi ý rằng chất lượng của các dự án rất giống nhau và cho dù bạn có làm gì đi nữa, có lẽ sẽ có ít nhất một nhận thức về sự độc đoán xung quanh điểm số cuối cùng.

Tôi không chắc có bao nhiêu dự án mỗi giám khảo chấm điểm. Giả sử họ ghi được một con số hợp lý (giả sử> 10, mặc dù ở đây càng cao càng tốt), với mỗi thẩm phán, bạn có thể tính toán phạm vi trung bình và liên mã cho tổng số điểm được đưa ra cho mỗi dự án mà họ đánh giá (bạn có rất nhiều thuộc tính, có lẽ không phải vậy đáng xem từng cá nhân trong số họ). Có bất kỳ giám khảo dường như đang cho điểm đặc biệt cao, hoặc điểm đặc biệt thấp? Có bất kỳ thẩm phán nào dường như được chấm điểm ở giữa để họ có thể cho điểm 10, điều này có thể được thể hiện bằng một phạm vi tương đối nhỏ và tổng điểm trung bình ở giữa phạm vi của các giá trị có thể.

Đối với các dự án nhóm, bạn có thể so sánh vị trí của họ trên cơ sở tổng số điểm, với vị trí của họ sau khi khấu trừ nhóm đã được áp dụng. Các khoản khấu trừ của đội có ảnh hưởng đến các đội sẽ nằm trong top 3 không?

Đây chỉ là những gợi ý để bạn bắt đầu. Tôi nghĩ rằng việc trực quan hóa dữ liệu dọc theo các dòng này sẽ cung cấp cho bạn một số chỉ số tốt về việc liệu các dấu hiệu có vẻ công bằng hay không.

Cập nhật: đây là một vấn đề khó khăn thú vị mà bạn có. Có vẻ như mỗi thẩm phán riêng lẻ không đánh giá đủ các dự án để chúng tôi có thể đưa ra một yếu tố trọng số cho mỗi thẩm phán (để tính đến sự thiên vị của thẩm phán), bởi vì chúng tôi không có đủ dữ liệu để có thể đo lường được - độ tin cậy cao hơn các thẩm phán, không có sự chồng chéo nào cho các thẩm phán chấm điểm trong cùng một dự án để làm điều đó. Bạn có nhìn vào phạm vi điểm cho một vài dự án hàng đầu - có sự khác biệt rõ ràng giữa chúng và các dự án có điểm thấp hơn (ranh giới tự nhiên không?), Các dự án hàng đầu gần nhau như thế nào?

Vì tò mò, các giám khảo đã đưa ra các tiêu chí chấm điểm, vì vậy họ có rất ít sự linh hoạt trong cách đưa ra điểm số cho từng tiêu chí (ví dụ: cho 1 điểm để đưa ra giả thuyết khống, cho 1 điểm để đưa ra một hoặc nhiều giả thuyết thay thế ...) hoặc có phải họ chỉ biết tổng số điểm họ có thể trao và phần còn lại tùy thuộc vào họ? Nếu họ có một hướng dẫn ghi bàn, tôi sẽ tự tin hơn rằng điểm số là chính xác hợp lý.