Công thức tiên tri Spearman-Brown bị ảnh hưởng bởi các câu hỏi về những khó khăn khác nhau như thế nào?

Các kết quả của công thức tiên tri Spearman-Brown bị ảnh hưởng như thế nào khi có các câu hỏi kiểm tra về những khó khăn khác nhau hoặc những người đánh giá là những học sinh dễ hoặc khó. Một văn bản tôn trọng nói rằng SB bị ảnh hưởng, nhưng không cung cấp chi tiết. (Xem trích dẫn dưới đây.)

Guion, R. M (2011). Đánh giá, Đo lường và Dự đoán cho các Quyết định Nhân sự, tái bản lần thứ 2. PGS 477

"Độ tin cậy có thể tăng lên bằng cách gộp nhóm, sử dụng phương trình Spearman-Brown. ... Nếu độ tin cậy của một xếp hạng là 0,5, thì độ tin cậy của hai, bốn hoặc sáu xếp hạng song song sẽ xấp xỉ 0,67, 0,80 và .86, tương ứng "(Houston, Raymond, & Svec, 1991, trang 409). Tôi thích trích dẫn này vì từ này nhận ra rằng các ước tính thống kê là các tuyên bố "trên trung bình" về những gì có thể được mong đợi nếu tất cả diễn ra như giả định. Ngoài ra, từ hoạt động là song song. Xếp hạng trung bình (hoặc sử dụng Spearman-Brown) nếu một người đánh giá, chẳng hạn, khoan dung một cách có hệ thống, đơn giản là không phù hợp với giả định. Nếu các bài tiểu luận được đánh giá bởi hai người xếp loại, một người khoan dung hơn người khác, thì vấn đề giống như việc sử dụng hai bài kiểm tra trắc nghiệm có độ khó không bằng nhau (dạng không đối xứng). Điểm số dựa trên các hình thức kiểm tra khác nhau (không tương đương) không thể so sánh được. Vì vậy, đó là với việc trộn các con chuột khoan hồng và khó khăn; độ tin cậy của các xếp hạng gộp được ước tính không chính xác bởi phương trình Spearman-Brown của lý thuyết kiểm tra cổ điển. Vấn đề sẽ tồi tệ hơn nếu mỗi thẩm phán định nghĩa một cấu trúc khác nhau một chút. "

Mặc dù tôi cảm thấy một chút ngượng ngùng mâu thuẫn với cả một "văn bản được tôn trọng" cũng như một người dùng CV khác, nhưng đối với tôi, công thức Spearman-Brown không bị ảnh hưởng bởi các mục có độ khó khác nhau. Để chắc chắn, công thức Spearman-Brown thường xuất phát theo giả định rằng chúng ta có các mục song song , ngụ ý (trong số những thứ khác) rằng các mục có độ khó tương đương. Nhưng hóa ra giả định này là không cần thiết; nó có thể được nới lỏng để cho phép những khó khăn không đồng đều, và công thức Spearman-Brown vẫn sẽ được giữ vững. Tôi chứng minh điều này dưới đây.

---

$X$$T$$E$

$$X = T + E,$$ $T$$E$$X$$X'$ $$T=T' \\\textrm{var}(E)=\textrm{var}(E').$$ $$T=T' + c' \\\textrm{var}(E)=\textrm{var}(E').$$ $c'>0$$X$$X'$$X$$X'$

$k$$\rho = \sigma^2_T/(\sigma^2_T+\sigma^2_E)$$\sigma^2_T$$\sigma^2_E$

$$\begin{aligned} \textrm{var}(\sum_{i=1}^kT_i + E_i) &= \textrm{var}(\sum_{i=1}^kT + c_i + E_i) \\ &= k^2\sigma^2_T + k\sigma^2_E, \end{aligned}$$ $T$$\sigma^2_T$$\sigma^2_E$ $$\begin{aligned} \frac{k^2\sigma^2_T}{k^2\sigma^2_T + k\sigma^2_E} &= \frac{k\sigma^2_T}{k\sigma^2_T + \sigma^2_X - \sigma^2_T} \\&= \frac{k\rho}{1+(k-1)\rho}, \end{aligned}$$

@JeremyMiles nêu lên một số điểm thú vị và quan trọng về những gì có thể xảy ra khi chúng ta tăng thời lượng thử nghiệm "trong thế giới thực", nhưng ít nhất là theo các giả định lý tưởng hóa của lý thuyết kiểm tra cổ điển, sự khác biệt về độ khó của vật phẩm không quan trọng đối với độ tin cậy của hình thức kiểm tra (trái ngược hoàn toàn với các giả định của Lý thuyết đáp ứng vật phẩm hiện đại!). Chính lý luận cơ bản này cũng là lý do tại sao chúng ta thường nói về tương đương tau thiết yếu thay vì tương đương tau, bởi vì hầu hết tất cả các kết quả quan trọng đều phù hợp với trường hợp nhẹ nhàng hơn, trong đó khó khăn về vật phẩm (nghĩa là) có thể khác nhau.

Thật không dễ để nói.

Đầu tiên, Spearman-Brown giả định rằng các vật phẩm thử nghiệm (hoặc các con chuột) được lấy mẫu ngẫu nhiên từ một quần thể vật phẩm thử nghiệm (hoặc các con chuột). Điều này không bao giờ thực sự đúng, đặc biệt là các bài kiểm tra, vì tạo ra nhiều vật phẩm là khó và có thể bạn sẽ sử dụng những vật phẩm tốt hơn để bắt đầu - sau đó bạn sẽ thấy rằng bài kiểm tra cần phải dài hơn, vì vậy bạn sẽ 'cạo thùng' cho các mặt hàng.

Thứ hai, các mục khác nhau về độ tin cậy của chúng và độ tin cậy không nhất thiết liên quan đến độ khó (nếu có ích, hãy nghĩ đến độ dốc và chặn đường cong đặc tính của vật phẩm trong lý thuyết phản hồi của vật phẩm). Tuy nhiên, tính toán độ tin cậy (giả sử Cronbach's alpha, một dạng tương quan giữa các lớp) cho rằng các độ tin cậy đều bằng nhau (họ giả sử một mô hình đo lường tương đương tau thiết yếu - nghĩa là, độ tin cậy không đạt tiêu chuẩn của từng mặt hàng là tất cả công bằng). Điều đó gần như chắc chắn sai. Thêm các mục có thể đi lên, có thể đi xuống. Nó phụ thuộc vào các mặt hàng.

Đây là một cách khác để nghĩ về nó. Tôi chọn ngẫu nhiên một mẫu từ dân số, và tính trung bình và sai số chuẩn của giá trị trung bình. Điều đó có nghĩa là một công cụ ước tính không thiên vị của dân số có nghĩa. Sau đó, tôi tăng kích thước mẫu của mình - giá trị trung bình dự kiến ​​là như nhau, nhưng không chắc là nó sẽ thực sự giống nhau - nó gần như chắc chắn sẽ tăng hoặc giảm. Giống như tôi dự đoán lỗi tiêu chuẩn sẽ nhỏ hơn, nhưng số lượng nó thu nhỏ sẽ không đồng nhất (và không thể xảy ra lỗi tiêu chuẩn lớn hơn.)