Khoảng 600 sinh viên có điểm trên một bản đánh giá sâu rộng, có thể được coi là có độ tin cậy / giá trị tốt. Đánh giá được chấm điểm trong số 100 và đây là bài kiểm tra trắc nghiệm được đánh dấu bằng máy tính.

600 học sinh đó cũng có điểm đánh giá thứ hai, thứ yếu. Trong phần đánh giá thứ hai này, chúng được tách thành 11 nhóm với 11 học sinh khác nhau và có một mức độ khác nhau lớn không thể chối cãi giữa các học sinh về 'tính hào phóng' trong việc đánh dấu hoặc thiếu. Đánh giá thứ hai này cũng được chấm điểm trong số 100.

Học sinh không được chỉ định tham gia đoàn hệ một cách ngẫu nhiên, và có những lý do chính đáng để mong đợi sự khác biệt về mức độ kỹ năng giữa các đoàn hệ.

Tôi được trình bày với nhiệm vụ đảm bảo rằng sự khác biệt giữa các dấu hiệu đoàn hệ trong bài tập thứ hai không có lợi thế / bất lợi về mặt vật chất cho từng học sinh.

Ý tưởng của tôi là lấy điểm số của nhóm đánh giá thứ hai để phù hợp với điểm số của nhóm đầu tiên, trong khi vẫn duy trì sự khác biệt cá nhân trong đoàn hệ. Chúng ta nên cho rằng tôi có lý do chính đáng để tin rằng hiệu suất của hai nhiệm vụ sẽ có mối tương quan cao, nhưng các điểm đánh dấu khác nhau đáng kể về sự hào phóng của chúng.

Đây có phải là cách tiếp cận tốt nhất? Nếu không, là gì?

Sẽ được đánh giá rất cao nếu người trả lời có thể đưa ra một số lời khuyên thiết thực về cách triển khai một giải pháp tốt, nói trong R hoặc SPSS hoặc Excel.

Biết làm thế nào học sinh lớp khác nhau là tốt, nhưng vẫn không cho bạn biết những gì để bù đắp các lớp để . Để đơn giản hãy tưởng tượng chỉ cần hai học sinh lớp. Ngay cả khi chúng tôi kết luận học sinh lớp 1 luôn hào phóng hơn 5 điểm so với học sinh lớp 2, điều đó không cho bạn biết phải làm gì với hai học sinh từng học sinh lớp 70, một học sinh lớp 1 và một học sinh lớp 2. Chúng ta có nói rằng học sinh lớp 2 là một điểm đánh dấu khắc nghiệt, và tăng 70 đến 75, trong khi giữ 70 được đánh dấu bởi học sinh lớp 1 không thay đổi? Hay chúng ta cho rằng học sinh lớp 1 là quá khoan dung, hạ học sinh của mình xuống 65 điểm và giữ cho học sinh lớp 2 không thay đổi? Chúng ta có thỏa hiệp nửa chừng - mở rộng cho trường hợp của bạn, dựa trên trung bình của 11 học sinh lớp không? Đó là điểm tuyệt đối quan trọng, vì vậy biết rộng lượng tương đối là không đủ.

Kết luận của bạn có thể phụ thuộc vào mức độ "khách quan" mà bạn cảm thấy là dấu hiệu tuyệt đối cuối cùng. Một mô hình tinh thần sẽ đề xuất mỗi học sinh có một lớp "chính xác" - một mô hình sẽ được trao bởi Người xác định chính nếu họ có thời gian đánh dấu từng bài riêng lẻ - mà các lớp được quan sát là gần đúng. Trong mô hình này, các lớp được quan sát cần phải được bù cho học sinh lớp của họ, để đưa chúng càng gần càng tốt đối với lớp "thật" không quan sát được của chúng. Một mô hình khác có thể là tất cả việc chấm điểm đều mang tính chủ quan và chúng tôi tìm cách biến đổi từng cấp độ quan sát theo nhãn hiệu mà chúng tôi dự đoán sẽ được trao nếu tất cả các học sinh đã xem xét cùng một loại giấy và đạt được một mức độ thỏa hiệp hoặc điểm trung bình nào đó. Tôi thấy mô hình thứ hai ít thuyết phục hơn như một giải pháp ngay cả khi sự thừa nhận tính chủ quan là thực tế hơn. Trong một môi trường giáo dục thường có người chịu trách nhiệm đánh giá cao nhất, để đảm bảo rằng học sinh nhận được "điểm số họ xứng đáng", nhưng vai trò lãnh đạo này về cơ bản đã miễn trách nhiệm cho những học sinh lớp mà chúng ta đã biết không đồng ý rõ ràng. Từ đây tôi giả sử ở đólà một lớp "chính xác" mà chúng tôi nhắm đến để ước tính, nhưng đây là một đề xuất có thể tranh cãi và có thể không phù hợp với hoàn cảnh của bạn.

Giả sử học sinh A, B, C và D, tất cả trong cùng một nhóm, "nên" được xếp loại lần lượt là 75, 80, 85 và 90 nhưng học sinh hào phóng của chúng luôn đạt 5 điểm quá cao. Chúng tôi quan sát 80, 85, 90 và 95 và nên trừ 5, nhưng việc tìm ra con số để trừ là vấn đề. Không thể thực hiện được bằng cách so sánh kết quả giữa các đoàn hệ vì chúng tôi hy vọng đoàn hệ sẽ thay đổi khả năng trung bình. Một khả năng là sử dụng kết quả kiểm tra trắc nghiệm để dự đoán điểm chính xác trong bài tập thứ hai, sau đó sử dụng kết quả này để đánh giá sự khác nhau giữa mỗi học sinh và điểm chính xác. Nhưng việc đưa ra dự đoán này là không tầm thường - nếu bạn mong đợi độ lệch trung bình và độ lệch chuẩn khác nhau giữa hai đánh giá, bạn không thể cho rằng các điểm đánh giá thứ hai phải khớp với điểm đầu tiên.

Ngoài ra, sinh viên khác nhau về năng khiếu tương đối trong các đánh giá trắc nghiệm và viết. Bạn có thể coi đó là một loại hiệu ứng ngẫu nhiên, tạo thành một thành phần của các lớp "được quan sát" và "đúng" của học sinh, nhưng không bị bắt bởi lớp "dự đoán" của chúng. Nếu các đoàn hệ khác nhau một cách có hệ thống và các sinh viên trong đoàn hệ có xu hướng tương tự nhau, thì chúng ta không nên mong đợi hiệu ứng này trung bình bằng 0 trong mỗi đoàn hệ. Nếu điểm số quan sát của một đoàn hệ trung bình +5 so với dự đoán của họ, điều đó là không thểđể xác định xem đây có phải là do một học sinh hào phóng, một đoàn hệ đặc biệt phù hợp với đánh giá bằng văn bản hơn là nhiều lựa chọn, hoặc một số kết hợp của cả hai. Trong một trường hợp cực đoan, đoàn hệ thậm chí có thể có năng khiếu thấp hơn ở lần đánh giá thứ hai nhưng điều này được bù đắp nhiều hơn bởi một học sinh rất hào phóng - hoặc ngược lại. Bạn không thể phá vỡ điều này. Nó bối rối.

Tôi cũng nghi ngờ tính đầy đủ của một mô hình phụ gia đơn giản như vậy cho dữ liệu của bạn. Học sinh có thể khác với Người xác định chính không chỉ bằng cách thay đổi vị trí, mà còn lan rộng - mặc dù các đoàn hệ có thể khác nhau về tính đồng nhất, bạn không thể kiểm tra mức độ lây lan của các lớp được quan sát trong mỗi đoàn hệ để phát hiện điều này. Hơn nữa, phần lớn phân phối có điểm số cao, khá gần mức tối đa lý thuyết là 100. Tôi dự đoán điều này sẽ giới thiệu tính phi tuyến tính do nén gần mức tối đa - một học sinh rất hào phóng có thể cho điểm A, B, C và D như 85, 90, 94, 97. Điều này khó đảo ngược hơn là chỉ trừ đi một hằng số. Tồi tệ hơn, bạn có thể thấy "cắt xén" - một học sinh cực kỳ hào phóng có thể xếp loại chúng là 90, 95, 100, 100. Điều này là không thểđể đảo ngược, và thông tin về hiệu suất tương đối của C và D bị mất không thể phục hồi.

Học sinh lớp của bạn cư xử rất khác nhau. Bạn có chắc rằng họ chỉ khác nhau về sự hào phóng chung của họ, hơn là sự hào phóng của họ trong các thành phần khác nhau của đánh giá? Điều này có thể đáng để kiểm tra, vì nó có thể đưa ra các biến chứng khác nhau - ví dụ: điểm B được quan sát có thể kém hơn A, mặc dù B là 5 điểm "tốt hơn", ngay cả khi điểm được phân bổ của học sinh cho mỗi thành phần là một hàm tăng đơn điệu của Người phán xử chính! Giả sử đánh giá được phân chia giữa Q1 (A nên đạt 30/50, B 45/50) và Q2 (A nên đạt 45/50, B 35/50). Hãy tưởng tượng học sinh rất khoan dung trong Q1 (các lớp được quan sát: A 40/50, B 50/50) nhưng khắc nghiệt vào Q2 (quan sát: A 42/50, 30/50), sau đó chúng tôi quan sát tổng số 82 cho A và 80 cho B. Nếu bạn phải xem xét điểm thành phần,

Có thể cho rằng đây là một nhận xét mở rộng hơn là một câu trả lời, theo nghĩa là nó không đề xuất một giải pháp cụ thể nào trong giới hạn ban đầu của vấn đề của bạn. Nhưng nếu học sinh lớp của bạn đã xử lý khoảng 55 bài mỗi bài, vậy có tệ lắm không khi chúng phải xem xét năm hoặc mười bài nữa cho mục đích hiệu chuẩn? Bạn đã có một ý tưởng tốt về khả năng của học sinh, vì vậy có thể chọn một mẫu bài từ bên phải trong phạm vi các lớp. Sau đó, bạn có thể đánh giá xem bạn cần phải bù cho sự hào phóng của học sinh trong toàn bộ bài kiểm tra hoặc trong từng thành phần, và liệu có nên làm như vậy chỉ bằng cách thêm / bớt một hằng số hoặc bằng một thứ phức tạp hơn như nội suy (ví dụ nếu bạn lo lắng về việc không tuyến tính gần 100). Nhưng một lời cảnh báo về phép nội suy: giả sử Người đánh giá chính đánh dấu năm bài báo mẫu là 70, 75, 80, 85 và 90, trong khi một học sinh đánh dấu chúng là 80, 88, 84, 93 và 96 nên có một số bất đồng về trật tự. Bạn có thể muốn ánh xạ các lớp được quan sát từ 96 đến 100 vào khoảng 90 đến 100 và quan sát các lớp từ 93 đến 96 vào khoảng 85 đến 90. Nhưng một số ý kiến ​​được yêu cầu cho các dấu dưới đó. Có lẽ các lớp quan sát từ 84 đến 93 nên được ánh xạ đến khoảng 75 đến 85? Một thay thế sẽ là một hồi quy (có thể là đa thức) để có được một công thức cho "lớp thực được dự đoán" từ "lớp được quan sát". Có lẽ các lớp quan sát từ 84 đến 93 nên được ánh xạ đến khoảng 75 đến 85? Một thay thế sẽ là một hồi quy (có thể là đa thức) để có được một công thức cho "lớp thực được dự đoán" từ "lớp được quan sát". Có lẽ các lớp quan sát từ 84 đến 93 nên được ánh xạ đến khoảng 75 đến 85? Một thay thế sẽ là một hồi quy (có thể là đa thức) để có được một công thức cho "lớp thực được dự đoán" từ "lớp được quan sát".

Một mô hình rất đơn giản:

$s_{1,i}$$i$$s_{2,i}$$A_1, \ldots, A_p$

Mỗi đoàn hệ được thiên vị bởi sức mạnh của học sinh và sự dễ dàng của học sinh. Giả sử đây là một hiệu ứng phụ gia, chúng tôi rút lui theo cách sau: chúng tôi sẽ trừ điểm trung bình của đoàn hệ trong bài kiểm tra đầu tiên và thêm điểm trung bình của đoàn hệ trong bài kiểm tra thứ hai.

$s'_1$

$s$

Nhược điểm là một cá nhân học sinh có thể bị phạt nếu những người trong đoàn hệ của anh ta gặp xui xẻo trong bài kiểm tra thứ hai. Nhưng bất kỳ kỹ thuật thống kê sẽ mang nhược điểm có thể không công bằng này.

Bạn không thể. Ít nhất, không phải không thu thập dữ liệu bổ sung. Để biết lý do tại sao, hãy đọc nhiều ý kiến ​​được đánh giá cao của @ whuber trong suốt chủ đề này.

Biên tập

Vấn đề được giải quyết trong câu trả lời này là việc tìm ra những học sinh chấm điểm ít hơn cho những học sinh mà họ không thích.

Bài gốc

Cách tiếp cận của tôi, mà tôi nghĩ là dễ thực hiện, sẽ như sau:

$\mu_{k, i}$$k$$i$$y_{k, i}$

1

Giả sử mô hình

$y_{k, i} = \mu_{k, i} + \alpha + \tau e_{k, i}$$\alpha$$\alpha$$i$$\alpha$

2

$G_i$$i$$\tilde{y}_{k, i}$

$y_{k, i} - \mu_{k, i} - \alpha = \tilde{y}_{k, i} = G_i + \sigma_i \tilde{e}_{k, i}$

$G$$\sigma$

3

Bây giờ một quan sát bất thường là một trong những số lượng

$T = \vert \frac{\tilde{y} - G_i}{\sigma_i} \vert$

Ghi chú

$e$$T$

Mã R

Dưới đây là mã trong R. Lưu ý rằng trong trường hợp của bạn, cả mu và y sẽ được cung cấp để các hàng tạo khi chúng được gán số rnorm-số nên được bỏ qua. Tôi bao gồm chúng để có thể đánh giá kịch bản mà không cần dữ liệu.

mu_0 <- 50; 
alpha <- 5;
tau<- 10; 
# 0 Generate data for first assignment
mu <- matrix(rnorm(605, mu_0, tau), 11) 

# 1 Generate data for second assignment and estimate alpha
G <- rnorm(11, 0)*10;
for(i in 1:11){
    y[i,] <- rnorm(55, 0, sigma) + mu[i,] + alpha + G[i];
}

alpha_hat <- mean(y-mu)
alpha_hat

# 2 Form \tilde{y} and find unsual observations
ytilde <- y - mu - alpha_hat
T <- matrix(0, 11, 55);
for(i in 1:11){
    G_hat <- mean(ytilde[i,]);
    sigma_hat <- sd(ytilde[i,]);
    T[i,] <- order(abs(ytilde[i,] - G_hat)/sigma_hat)
}
# 3 Look at grader number 2 by
T[2,]

Xem xét lại vấn đề: Cách tốt nhất để tiếp cận việc đặt điểm của bài kiểm tra hai phần với các điều kiện yêu cầu phần thứ hai phải đối mặt với sự không chắc chắn lớn hơn do phạm vi đánh giá định tính của Đại biểu.

Trong đó: Master Tester = người chịu trách nhiệm cho kỳ thi Delegated Tester = người (1 trong số 11) được chỉ định để chấm điểm số 2 của kỳ thi Học sinh = anh chàng có được niềm vui khi ngồi trong kỳ thi

Các mục tiêu bao gồm: A) Học sinh nhận được một dấu hiệu phản ánh công việc của họ B) Quản lý sự không chắc chắn của phần thứ hai để phù hợp với ý định của Người kiểm tra chính

Phương pháp tiếp cận được đề xuất (câu trả lời): 1. Master Tester chọn ngẫu nhiên một bộ bài kiểm tra mẫu đại diện, đánh dấu phần # 2 và phát triển mối tương quan với phần 1 2. Sử dụng mối tương quan để đánh giá tất cả dữ liệu của Người đánh dấu được ủy quyền (Phần # 1 so với điểm số 2) 3. Trường hợp tương quan khác biệt đáng kể so với Master Tester - tầm quan trọng được chấp nhận đối với Master Tester - kiểm tra bài kiểm tra với tư cách là Master Tester để gán lại kết quả.

Cách tiếp cận này đảm bảo rằng Master Tester chịu trách nhiệm về mối tương quan và tầm quan trọng chấp nhận được. Mối tương quan có thể đơn giản như điểm số của phần # 1 so với # 2 hoặc điểm tương đối cho các câu hỏi của bài kiểm tra # 1 so với # 2.

Master Tester cũng sẽ có thể thiết lập chất lượng kết quả cho Phần # 2 dựa trên "tính cao su" của mối tương quan.