Làm cách nào tôi có thể sử dụng dữ liệu này để hiệu chỉnh các điểm đánh dấu với các mức độ hào phóng khác nhau trong việc chấm điểm bài viết của học sinh?

12 giáo viên đang dạy 600 học sinh. 12 đoàn hệ được giảng dạy bởi các giáo viên này có quy mô từ 40 đến 90 sinh viên và chúng tôi hy vọng sự khác biệt có hệ thống giữa các đoàn hệ, vì sinh viên tốt nghiệp được phân bổ không tương xứng cho các đoàn hệ cụ thể và kinh nghiệm trước đây cho thấy sinh viên tốt nghiệp có điểm trung bình cao hơn đáng kể các sinh viên đại học.

Các giáo viên đã chấm điểm tất cả các bài viết trong đoàn hệ của họ, và đã chỉ định cho họ một điểm trong số 100.

Mỗi giáo viên cũng đã xem xét một bài được chọn ngẫu nhiên từ ba giáo viên khác và cho điểm đó là 100. Mỗi giáo viên đã có ba bài của mình được đánh dấu bởi một giáo viên khác. Do đó, 36 loại giấy tờ khác nhau đã được đánh dấu chéo theo cách này và tôi gọi đây là dữ liệu hiệu chuẩn của mình.

Tôi cũng có thể thấy có bao nhiêu sinh viên tốt nghiệp trong mỗi đoàn hệ.

Câu hỏi của tôi là:

A) Làm cách nào tôi có thể sử dụng dữ liệu hiệu chuẩn này để điều chỉnh các nhãn hiệu ban đầu để làm cho chúng công bằng hơn? Đặc biệt, tôi muốn rửa sạch càng nhiều càng tốt các tác động của các nhà sản xuất quá hào phóng / vô duyên.

B) Dữ liệu hiệu chuẩn của tôi thích hợp như thế nào? Tôi không có lựa chọn nào trong 36 điểm dữ liệu dữ liệu hiệu chuẩn khá hạn chế mà tôi có trong khóa học này và không có tùy chọn nào để thu thập thêm trong suốt học kỳ hiện tại. Tuy nhiên, nếu tình huống này tái diễn, tôi có thể thu thập thêm dữ liệu hiệu chuẩn hoặc thu thập các loại dữ liệu hiệu chuẩn khác.

Câu hỏi này là họ hàng của một câu hỏi phổ biến mà tôi đã hỏi tại: Làm thế nào tôi có thể giải quyết tốt nhất các tác động của các điểm đánh dấu với mức độ hào phóng khác nhau trong việc chấm điểm bài viết của học sinh? . Tuy nhiên, đó là một khóa học khác và tôi không chắc việc đọc câu hỏi đó sẽ hữu ích như thế nào cho câu hỏi hiện tại này, vì vấn đề chính là tôi không có dữ liệu hiệu chuẩn.

Điều này nghe có vẻ như là một cơ hội tuyệt vời để sử dụng một hệ thống đề xuất nhân tố ma trận . Tóm lại, điều này hoạt động như sau:

• Đặt các quan sát của bạn vào một ma trận quan sát một phần trong đó M i j là giáo viên điểm tôi đã cho học sinh j .$M$$M_{ij}$$i$$j$

• Giả sử rằng ma trận này là sản phẩm bên ngoài của một số vectơ đặc trưng tiềm ẩn, và → s - đó là, M i j = t i s j .$\vec t$$\vec s$$M_{ij} = t_i s_j$

• $\sum_{i,j} (t_is_j - M_{ij})^2$$M$

• $\vec t$$\vec s$$\vec s$$\vec t$

$M_{ij} = \sum_{k=1}^n s_{ik} t_{kj}$ và một lần nữa cố gắng giảm thiểu lỗi tái thiết bình phương).

EDIT: để có một vấn đề được xác định rõ, bạn cần có nhiều thao tác ma trận hơn các tham số tiềm ẩn (hoặc bạn có thể sử dụng một số loại chính quy). Bạn chỉ có điều đó ở đây (bạn có 636 quan sát và 612 thông số tiềm ẩn), do đó, hệ số ma trận có thể không hoạt động tốt - tôi đã không làm việc với chúng trên các mẫu nhỏ như vậy, vì vậy tôi thực sự không biết.

Nếu hiệu chuẩn hóa ra không đủ để sử dụng mô hình đề xuất tốt, bạn có thể thử hồi quy đa cấp trên Score ~ IsGradStudent + <whatever other student covariates you have> + (1|Teacher)(bỏ qua dữ liệu hiệu chuẩn) để trích xuất các ước tính về độ lệch của giáo viên phụ gia, sau đó kiểm tra xem độ lệch này có phù hợp với dữ liệu hiệu chuẩn không lấy. (Bạn nên cho phép giáo viên không đồng nhất nếu có thể.) Điều này đặc biệt hơn nhưng có thể cung cấp cho bạn các vấn đề thu thập dữ liệu ít nghiêm trọng hơn.

Đây là một vài cách tiếp cận liên quan.

Lấy tập hợp các bài được đánh dấu bởi nhiều hơn một giáo viên, vì những bài đó chứa nhiều thông tin nhất về các hiệu ứng của giáo viên và bên ngoài các bài báo đó, các hiệu ứng của giáo viên và đoàn hệ bị nhầm lẫn (nếu có một cách nào đó để đạt được hiệu ứng đoàn hệ - có lẽ thông qua GPA hoặc một số dự đoán khác, ví dụ, sau đó bạn có thể sử dụng tất cả dữ liệu, nhưng nó sẽ làm phức tạp các mô hình khá nhiều).

$i=1,2, ... n$$j=1, 2, ...,m$$y_{ij}, i=1,2, ... m$

Trước tiên, bạn phải xem xét mô hình của mình để biết cách áp dụng hiệu ứng đánh dấu. Nó có phải là phụ gia không? Có phải là nhân? Bạn có cần phải lo lắng về các hiệu ứng biên (ví dụ: hiệu ứng cộng hoặc nhân trên thang đo logit sẽ tốt hơn)?

$p_{ij}=m_{ij}/100$$p$$\log(p_{ij}/(1-p_{ij})$

(Bạn sẽ không có đủ dữ liệu ở đây để ước tính hình thức hào phóng cũng như kích thước của nó. Bạn phải chọn một mô hình từ sự hiểu biết của bạn về tình huống. Bạn cũng cần bỏ qua mọi khả năng tương tác; có dữ liệu cho nó)

Khả năng 1 - mô hình phụ gia đơn giản. Điều này có thể phù hợp nếu không có dấu nào thực sự gần với 0 hoặc 100:

$E(y_{ij}) = \mu_{i}+\tau_j$

Đây thực chất là một ANOVA hai chiều. Bạn cần các ràng buộc về điều này, vì vậy bạn có thể thiết lập mã hóa sai lệch / thiết lập mô hình sao cho hiệu ứng đánh dấu là 0 hoặc bạn có thể thiết lập một mô hình trong đó một điểm đánh dấu là đường cơ sở (có hiệu ứng là 0 và có dấu hiệu của bạn sẽ cố gắng điều chỉnh mọi điểm đánh dấu khác về phía).

$\hat{\tau}_j$$y_{kj}^\text{adj}=y_{kj}-\hat{\tau}_j$

$E(y_{ij}) = \mu_{i}\tau_j$$\tau$

$\hat{\tau_j}$

$1-p=(100-m)/100$