phát hiện đạo văn trong bài kiểm tra trắc nghiệm

Giả sử một người giám thị nghi ngờ một sinh viên sao chép câu trả lời ra khỏi bài viết của một sinh viên khác trong kỳ thi trắc nghiệm. Sau đó, cô kiểm tra câu trả lời của họ và tìm thấy một số điểm tương đồng, nhưng mặt khác, chắc chắn có những điểm tương đồng với bản chất của kỳ thi. Làm thế nào cô ấy nên đi về việc xác định liệu những nghi ngờ của cô đã được thành lập?

Nói cách khác, cô ấy chắc chắn sẽ phải so sánh các kỳ thi với những học sinh khác (những người, chúng ta giả sử, không gian lận). Nhưng nếu quy mô lớp học rất lớn, có hợp lý để lấy mẫu ngẫu nhiên để so sánh không? Cô ấy sẽ lấy bao nhiêu? Nếu có nhiều câu hỏi trong bài kiểm tra, việc lấy mẫu các câu hỏi để so sánh có hợp lý không? Liệu nó có tạo ra sự khác biệt đáng kể cho dù mỗi câu hỏi có 2 câu trả lời có thể (đúng / sai) hoặc, nói, 4?

Tôi không có bất kỳ con số cụ thể nào vì tôi đang tự hỏi về cách thức hoạt động của nó nói chung. Tôi có một nền tảng về toán học nhưng ít được đào tạo về thống kê. Làm thế nào bạn sẽ mô tả phân tích này trong thuật ngữ thống kê?

Cảm ơn bạn.

correlation terminology

— Théophile
nguồn

Tôi có cảm giác bạn phải đưa ra giả định ở đây rằng cả kẻ lừa đảo lẫn kẻ lừa đảo đều không có câu trả lời đúng. Ví dụ, nếu cả hai đều có câu trả lời đúng xung quanh, bạn không thể chứng minh bất cứ điều gì. Nhưng nói rằng cả hai đều có cùng một câu trả lời sai, có lẽ khả năng gian lận rất cao. Tôi nghĩ bạn sẽ phải tập trung vào các câu trả lời sai khi thực hiện phép đo này.

— Spacey

Tôi nghĩ rằng bạn có thể muốn được chọn lọc và chọn các câu hỏi có khả năng được sao chép nhất. Đó có lẽ là những người có vẻ khó khăn nhất. Nhưng cũng có khả năng người gian lận chỉ chọn những câu hỏi bao gồm những chủ đề mà người đó không nghiên cứu và những người đó sẽ khó nhận ra. Nhưng có cùng một câu trả lời cho các câu hỏi dễ thực sự sẽ không cho bạn biết bất cứ điều gì vì cả hai bên sẽ biết câu trả lời chính xác.

— Michael R. Chernick

Không có gì đáng ngạc nhiên, rất nhiều người đã xem xét phát hiện gian lận trong quá khứ, bao gồm Steven Levitt, tác giả của Freakonomics. Nếu bạn muốn có thể biết liệu ai đó đã gian lận trong các câu trả lời một mình, đừng tự mình làm bài kiểm tra trắc nghiệm và tự mình kiểm tra bài kiểm tra. Bạn có thể bác bỏ giả thuyết rằng công việc của sinh viên không liên quan, nhưng bạn sẽ có một thời gian khủng khiếp chứng minh rằng họ không chỉ đơn giản là học cùng nhau. Bạn có biểu đồ chỗ ngồi và bạn đã xác minh ID của học sinh, rằng họ đang ngồi theo biểu đồ chỗ ngồi? Bạn có thể thi lại học sinh không?

— Douglas Zare

Lấy mẫu các câu hỏi trông giống như một ý tưởng khủng khiếp vì bạn có thể dễ dàng phân tích tất cả các câu hỏi và bạn sẽ bỏ lỡ các chỉ số tuyệt vời về sao chép, chẳng hạn như một chuỗi các câu trả lời được bù 1 từ câu trả lời đúng. Ví dụ: Câu trả lời đúng là 30) A 31) B 32) C 33) D 34) E và một học sinh có 30) A 31) B 32) C 33) D 34) B, và một người khác có 30) B 31) C 32) D 33) B. Nếu những câu trả lời này là những câu trả lời không chính xác rất phổ biến, thì chúng phù hợp với mô hình mà học sinh thứ hai đang sao chép thứ nhất và mắc lỗi bỏ sót. Mặc dù có thể, rất khó để giải thích những câu trả lời này mà không cần sao chép.

— Douglas Zare

Với phần mềm hiện tại, việc tạo ra một bộ bài kiểm tra có cùng câu hỏi tương đối dễ dàng và hiệu quả, nhưng cả thứ tự câu hỏi và thứ tự câu trả lời đều được cho phép. Nói chung bạn chỉ cần nhiều nhất là 4 phiên bản.

— R. Schumacher

Đây là một mảng lớn đáng ngạc nhiên của các chỉ mục sao chép câu trả lời, với rất ít thảo luận về giá trị của chúng: http://www.bjournal.co.uk/apers/BJASS_01_01_06.pdf .

$i$ $a_i$ $b_j$

π (a_{i}, b_{j}; c) = P r o b [student i answers question j correctly] = Φ (c (a_{i} - b_{j}))

$\pi(a_i,b_j;c) = {\rm Prob}[\mbox{student $i$ answers question $j$ correctly}] = \Phi( c(a_i-b_j) )$

Φ (z)

$\Phi(z)$

c

$c$

c_{j}

$c_j$

i

$i$ , câu trả lời cho các câu hỏi khác nhau là độc lập. Giả định này bị vi phạm nếu bạn có một loạt câu hỏi về việc nói cùng một đoạn văn bản, nhưng hãy trừu tượng hóa nó trong một phút.

$j$ $k_j$ $\pi'(a_i,b_j;c) = [1-\pi(a_i,b_j;c)]/(k_j-1)$

Đối với sinh viên khả năng $a_i$ $a_k$ $b_j$

ψ (a_{i}, a_{k}; b_{j}, c) = π (a_{i}, b_{j}; c) π (a_{k}, b_{j}; c) + (k - 1) π^{'} (a_{i}, b_{j}; c) π^{'} (a_{k}, b_{j}; c)

$\psi(a_i,a_k;b_j,c) = \pi(a_i,b_j;c)\pi(a_k,b_j;c) + (k-1)\pi'(a_i,b_j;c)\pi'(a_k,b_j;c)$

ψ_{c} (a_{i}, a_{k}; b_{j}, c) = π (a_{i}, b_{j}; c) π (a_{k}, b_{j}; c)

$\psi_c(a_i,a_k;b_j,c) = \pi(a_i,b_j;c)\pi(a_k,b_j;c)$

ψ_{i} (a_{i}, a_{k}; b_{j}, c) = (k - 1) π^{'} (a_{i}, b_{j}; c) π^{'} (a_{k}, b_{j}; c)

$\psi_i(a_i,a_k;b_j,c) = (k-1)\pi'(a_i,b_j;c)\pi'(a_k,b_j;c)$

Bây giờ, bạn có thể tính xác suất khớp, nhưng nó có thể sẽ là kết hợp rất nhỏ. Một biện pháp tốt hơn có thể là tỷ lệ của thông tin trong mẫu phản hồi theo cặp, và liên hệ nó với entropy

I (i, k) = \sum_{j} 1 {{match}_{j}} \ln ψ (a_{i}, a_{k}; b_{j}, c) + 1 {{non-match}_{j}} \ln [1 - ψ (a_{i}, a_{k}; b_{j}, c)]

$I(i,k) = \sum_j 1\{ \mbox{match}_j \} \ln \psi(a_i,a_k;b_j,c) + 1\{ \mbox{non-match}_j \} \ln [1- \psi(a_i,a_k;b_j,c) ]$

E (i, k) = E [I (i, k)] = \sum_{j} ψ (a_{i}, a_{k}; b_{j}, c) \ln ψ (a_{i}, a_{k}; b_{j}, c) + (1 - ψ (a_{i}, a_{k}; b_{j}, c)) \ln [1 - ψ (a_{i}, a_{k}; b_{j}, c)]

$E(i,k) = {\rm E}[ I(i,k) ] = \sum_j \psi(a_i,a_k;b_j,c) \ln \psi(a_i,a_k;b_j,c) + (1- \psi(a_i,a_k;b_j,c) ) \ln [1- \psi(a_i,a_k;b_j,c) ]$

$\{c,b_j, j=1, 2, \ldots\}$ $\{a_i\}$ lme4

    irt <- glmer( answer ~ 1 + (1|student) + (1|question), family = binomial)

hoặc một cái gì đó rất gần với điều này.

— StasK
nguồn