Phát hiện các mô hình gian lận trong một bài kiểm tra nhiều câu hỏi

CÂU HỎI:

Tôi có dữ liệu nhị phân về các đề thi (đúng / không chính xác). Một số cá nhân có thể đã có quyền truy cập trước vào một tập hợp các câu hỏi và câu trả lời đúng của họ. Tôi không biết ai, bao nhiêu, hay cái nào. Nếu không có gian lận, giả sử tôi sẽ mô hình xác suất trả lời đúng cho mục là , trong đó đại diện cho độ khó của câu hỏi và là khả năng tiềm ẩn của từng cá nhân. Đây là mô hình phản hồi mục rất đơn giản có thể được ước tính bằng các hàm như ltm's rasch () trong R. Ngoài các ước tính (trong đó chỉ mục các cá nhân) của biến tiềm ẩn, tôi có quyền truy cập vào các ước tính riêng biệt$i$$logit((p_i = 1 | z)) = \beta_i + z$$\beta_i$z j j q$z$$\hat{z}_j$$j$$\hat{q}_j$ của cùng một biến tiềm ẩn được lấy từ một tập dữ liệu khác trong đó gian lận là không thể.

Mục tiêu là xác định những cá nhân có khả năng lừa dối và những món đồ mà họ gian lận. Một số cách tiếp cận bạn có thể thực hiện là gì? Ngoài dữ liệu thô, , và đều có sẵn, mặc dù hai cái đầu tiên sẽ có một số sai lệch do gian lận. Lý tưởng nhất, giải pháp sẽ đến dưới dạng phân cụm / phân loại xác suất, mặc dù điều này là không cần thiết. Ý tưởng thực tế được hoan nghênh như là cách tiếp cận chính thức. z j q$\hat{\beta}_i$$\hat{z}_j$$\hat{q}_j$

Cho đến nay, tôi đã so sánh tương quan điểm số câu hỏi của các cặp cá nhân có điểm cao hơn so với thấp hơn điểm (trong đó là một chỉ số sơ bộ về xác suất mà họ gian lận). Ví dụ: tôi đã sắp xếp các cá nhân theo và sau đó vẽ sơ đồ tương quan của các cặp câu hỏi liên tiếp của các cá nhân. Tôi cũng đã thử vẽ biểu đồ tương quan trung bình của điểm số cho các cá nhân có giá trị lớn hơn số lượng của , như là một hàm của . Không có mô hình rõ ràng cho một trong hai cách tiếp cận. q j - z j q j - z j q j - z jnth q j - z j$\hat{q}_j -\hat{z}_j$$\hat{q}_j - \hat{z}_j$$\hat{q}_j - \hat{z}_j$$\hat{q}_j - \hat{z}_j$$n^{th}$$\hat{q}_j - \hat{z}_j$$n$

---

CẬP NHẬT:

Cuối cùng tôi đã kết hợp các ý tưởng từ @SheldonCooper và bài báo Freakonomics hữu ích mà @whuber chỉ cho tôi. Ý tưởng / ý kiến ​​/ phê bình khác hoan nghênh.

Đặt là điểm số nhị phân của người trên câu hỏi . Ước tính mô hình phản hồi vật phẩm trong đó là tham số độ dễ của vật phẩm và là biến khả năng tiềm ẩn. (Một mô hình phức tạp hơn có thể được thay thế; 'Tôi đang sử dụng 2PL trong ứng dụng của mình). Như tôi đã đề cập trong bài viết gốc của mình, tôi có ước tính của biến khả năng từ một tập dữ liệu riêng biệt (các mục khác nhau, cùng một người) trên mà gian lận là không thể. Cụ thể, là ước tính Bayes theo kinh nghiệm từ cùng một mô hình phản hồi vật phẩm như trên. j i l o g i t ( P r ( X i j = 1 | z j ) = β i + z j , β i z j ^ q j { y i j } ^ q $X_{ij}$$j$$i$

$$logit(Pr(X_{ij} = 1 | z_j) = \beta_i + z_j,$$ $\beta_i$$z_j$$\hat{q_j }$$\{y_{ij}\}$$\hat{q_j}$

Xác suất của điểm số quan sát , có điều kiện về mức độ dễ dàng của vật phẩm và khả năng của người, có thể được viết trong đó là xác suất dự đoán của một phản hồi chính xác và là logit nghịch đảo. Sau đó, có điều kiện về các đặc điểm của vật phẩm và con người, xác suất chung mà người có các quan sát là và tương tự, xác suất chung mà vật phẩm có các quan sát p i j = P r ( X i j = x i j | ^ β i , ^ q j ) = P i j ( ^ β i , ^ q j ) x i j ( 1 - P i j ( ^ β i , ^ q j ) ) 1 - $x_{ij}$Pij( ^ β i , ^ q j )=ilogit( ^ β i + ^ q j )ilogitjxjpj= ∏ ipij,ixipi= ∏ jpij

$$p_{ij} = Pr(X_{ij} = x_{ij} | \hat{\beta_i }, \hat{q_j }) = P_{ij}(\hat{\beta_i }, \hat{q_j })^{x_{ij}} (1 - P_{ij}(\hat{\beta_i }, \hat{q_j }))^{1-x_{ij}},$$ $P_{ij}(\hat{\beta_i }, \hat{q_j }) = ilogit(\hat{\beta_i} + \hat{q_j})$$ilogit$$j$$x_j$ $$p_j = \prod_i p_{ij},$$ $i$$x_i$ làNhững người có giá trị thấp nhất là những người có điểm số quan sát ít có điều kiện nhất - họ có thể là những kẻ gian lận. Các mục có giá trị thấp nhất là các mục có điều kiện ít có điều kiện nhất - chúng là các mục bị rò rỉ / chia sẻ có thể. Cách tiếp cận này dựa trên giả định rằng các mô hình là chính xác và rằng người điểm ‘s là điều kiện không tương quan về đặc điểm con người và mục. Tuy nhiên, việc vi phạm giả định thứ hai không có vấn đề gì, miễn là mức độ tương quan không khác nhau giữa các người và mô hình cho có thể dễ dàng được cải thiện (ví dụ: bằng cách thêm các đặc điểm của người hoặc vật phẩm bổ sung). $$p_i = \prod_j p_{ij}.$$ p j j p i $p_j$$p_j$$j$$p_{ij}$

Một bước bổ sung mà tôi đã thử là lấy r% của những người ít có khả năng nhất (tức là những người có r% giá trị p_j được sắp xếp thấp nhất), tính khoảng cách trung bình giữa điểm số quan sát của họ x_j (nên tương quan với những người có r thấp là những kẻ gian lận có thể) và vẽ nó cho r = 0,001, 0,002, ..., 1.000. Khoảng cách trung bình tăng cho r = 0,001 đến r = 0,025, đạt mức tối đa và sau đó giảm từ từ xuống mức tối thiểu tại r = 1. Không chính xác như những gì tôi đã hy vọng.

Phương pháp tiếp cận đặc biệt

Tôi cho rằng đáng tin cậy một cách hợp lý bởi vì nó được ước tính trên nhiều sinh viên, hầu hết những người không gian lận trong câu hỏi . Đối với mỗi học sinh , sắp xếp các câu hỏi theo thứ tự độ khó tăng dần, hãy tính (lưu ý rằng i j β i + q j q $\beta_i$$i$$j$$\beta_i + q_j$$q_j$chỉ là phần bù không đổi) và ngưỡng nó ở một vị trí hợp lý (ví dụ p (đúng) <0,6). Điều này đưa ra một loạt các câu hỏi mà học sinh không có khả năng trả lời chính xác. Bây giờ bạn có thể sử dụng kiểm tra giả thuyết để xem liệu điều này có bị vi phạm hay không, trong trường hợp đó học sinh có thể bị lừa (giả sử tất nhiên mô hình của bạn là chính xác). Một lưu ý là nếu có một vài câu hỏi như vậy, bạn có thể không có đủ dữ liệu để bài kiểm tra đáng tin cậy. Ngoài ra, tôi không nghĩ có thể xác định được câu hỏi nào mà anh ta gian lận, bởi vì anh ta luôn có 50% cơ hội đoán. Nhưng nếu bạn cho rằng ngoài ra có nhiều sinh viên được tiếp cận (và bị lừa) cùng một bộ câu hỏi, bạn có thể so sánh những câu hỏi này giữa các sinh viên và xem câu hỏi nào được trả lời thường xuyên hơn cơ hội.

Bạn có thể làm một thủ thuật tương tự với các câu hỏi. Tức là cho mỗi câu hỏi, sắp xếp học sinh theo , thêm (đây là phần bù không đổi) và ngưỡng ở xác suất 0,6. Điều này cung cấp cho bạn một danh sách các sinh viên không thể trả lời chính xác câu hỏi này. Vì vậy, họ có 60% cơ hội để đoán. Một lần nữa, làm kiểm tra giả thuyết và xem liệu điều này có bị vi phạm hay không. Điều này chỉ hoạt động nếu hầu hết các học sinh gian lận trong cùng một bộ câu hỏi (ví dụ: nếu một tập hợp các câu hỏi 'bị rò rỉ' trước kỳ thi).β $q_j$$\beta_i$

Nguyên tắc tiếp cận

Đối với mỗi sinh viên, có một biến nhị phân với Bernoulli trước với một số xác suất phù hợp, cho biết liệu sinh viên đó có phải là một kẻ lừa dối hay không. Đối với mỗi câu hỏi, có một biến nhị phân , một lần nữa với một số Bernoulli phù hợp trước đó, cho biết liệu câu hỏi có bị rò rỉ hay không. Sau đó, có một tập hợp các biến nhị phân , cho biết liệu học sinh trả lời đúng câu hỏi của không. Nếu và , thì phân phối của là Bernoulli với xác suất 0,99. khác, bản phân phối là . Các này là các biến quan sát.l i a i j j i c j = 1 l i = 1 a i j l o g i t ( β i + q j ) a i j c j l $c_j$$l_i$$a_{ij}$$j$$i$$c_j = 1$$l_i = 1$$a_{ij}$$logit(\beta_i + q_j)$$a_{ij}$$c_j$ và bị ẩn và phải được suy ra. Bạn có thể làm điều đó bằng cách lấy mẫu Gibbs. Nhưng các cách tiếp cận khác cũng có thể khả thi, có thể là một cái gì đó liên quan đến việc đi xe đạp.$l_i$

Nếu bạn muốn tham gia vào một số cách tiếp cận phức tạp hơn, bạn có thể xem xét các mô hình lý thuyết phản ứng vật phẩm. Sau đó, bạn có thể mô hình độ khó của từng câu hỏi. Những sinh viên có những món đồ khó sửa trong khi thiếu những thứ dễ hơn, tôi nghĩ, sẽ dễ bị lừa hơn những người làm ngược lại.

Đã hơn một thập kỷ kể từ khi tôi làm điều này, nhưng tôi nghĩ nó có thể hứa hẹn. Để biết thêm chi tiết, hãy xem sách tâm lý học