Làm thế nào để giảm số lượng vật phẩm bằng cách sử dụng phân tích nhân tố, tính nhất quán nội bộ và lý thuyết phản hồi vật phẩm kết hợp?

Tôi đang trong quá trình phát triển một bảng câu hỏi theo kinh nghiệm và tôi sẽ sử dụng các số tùy ý trong ví dụ này để minh họa. Đối với bối cảnh, tôi đang phát triển một bảng câu hỏi tâm lý nhằm đánh giá các kiểu suy nghĩ thường được xác định ở những cá nhân mắc chứng rối loạn lo âu. Một mặt hàng có thể trông giống như "Tôi cần kiểm tra lò nướng nhiều lần vì tôi không thể chắc chắn nó đã tắt ".

Tôi có 20 câu hỏi (Likert 5 điểm) có thể bao gồm một hoặc hai yếu tố (lưu ý rằng trong thực tế tôi có gần 200 câu hỏi, bao gồm 10 thang điểm và mỗi thang đo có thể bao gồm hai yếu tố). Tôi sẵn sàng xóa khoảng một nửa các mục, để lại 10 câu hỏi về một trong hai yếu tố.

Tôi quen thuộc với phân tích nhân tố khám phá (EFA), tính nhất quán bên trong (Cronbach's alpha) và các đường cong đặc trưng của vật phẩm trong lý thuyết phản hồi vật phẩm (IRT). Tôi có thể thấy cách tôi sẽ sử dụng bất kỳ phương pháp nào trong số các phương pháp này để xác định mục nào là "tệ hơn" trong bất kỳ thang đo nào. Tôi đánh giá cao rằng mỗi phương pháp cũng trả lời các câu hỏi khác nhau, mặc dù chúng có thể dẫn đến kết quả tương tự và tôi không chắc "câu hỏi" nào là quan trọng nhất.

Trước khi chúng tôi bắt đầu, hãy chắc chắn rằng tôi biết những gì tôi đang làm với từng phương thức này.

• Sử dụng EFA, tôi sẽ xác định số lượng yếu tố và loại bỏ các mặt hàng tải ít nhất (giả sử <.30) trên yếu tố tương ứng của chúng hoặc tải trọng chéo đáng kể giữa các yếu tố.

• Sử dụng tính nhất quán nội bộ, tôi sẽ xóa các mục có "alpha nếu mục bị xóa" tệ hơn. Tôi có thể làm như vậy với giả định một yếu tố trong thang đo của mình hoặc thực hiện sau EFA ban đầu để xác định số lượng yếu tố và sau đó chạy alpha của tôi cho từng yếu tố.

• Sử dụng IRT, tôi sẽ xóa các mục không đánh giá yếu tố quan tâm dọc theo các tùy chọn phản hồi (5 Likert) của chúng. Tôi sẽ được nhãn cầu đường cong đặc trưng. Về cơ bản, tôi sẽ tìm kiếm một đường thẳng ở góc 45 độ từ tùy chọn 1 trên thang đo Likert cho đến 5 điểm dọc theo điểm số tiềm ẩn. Tôi có thể làm như vậy với giả định một yếu tố hoặc thực hiện sau
  EFA ban đầu để xác định số lượng yếu tố và sau đó chạy các đường cong cho từng yếu tố.

Tôi không chắc nên sử dụng phương pháp nào trong số những phương pháp này để xác định tốt nhất mặt hàng nào là "tệ nhất". Tôi sử dụng tồi tệ nhất theo nghĩa rộng sao cho vật phẩm đó sẽ gây bất lợi cho thước đo, cả về độ tin cậy hay tính hợp lệ, cả hai đều quan trọng như nhau đối với tôi. Có lẽ tôi có thể sử dụng chúng cùng nhau, nhưng tôi không biết làm thế nào.

Nếu tôi tiếp tục với những gì tôi biết bây giờ và cho nó bức ảnh đẹp nhất của tôi, tôi sẽ làm như sau:

1. Làm một EFA để xác định số lượng các yếu tố. Đồng thời xóa các mục có tải trọng xấu trên các yếu tố tương ứng của chúng, vì tôi không muốn các mục tải quá tệ bất kể chúng sẽ làm như thế nào trong các phân tích khác.
2. Làm IRT và loại bỏ các mặt hàng xấu được đánh giá theo phân tích đó, nếu có còn từ EFA.
3. Chỉ cần báo cáo Cronbach's Alpha và không sử dụng số liệu đó làm phương tiện để xóa các mục.

Bất kỳ hướng dẫn chung sẽ được đánh giá rất cao!

Đây cũng là danh sách các câu hỏi cụ thể mà bạn có thể trả lời:

1. Sự khác biệt thực tế giữa việc loại bỏ các mục dựa trên tải nhân tố và loại bỏ các mục dựa trên alpha của Chronbach (giả sử bạn sử dụng cùng bố cục nhân tố cho cả hai phân tích)?

2. Tôi nên làm gì trước? Giả sử tôi làm EFA và IRT với một yếu tố, và cả hai đều xác định các mục khác nhau cần được loại bỏ, phân tích nào cần được ưu tiên?

Tôi không khó để thực hiện tất cả các phân tích này, mặc dù tôi sẽ báo cáo alpha của Chronbach bất kể. Tôi cảm thấy chỉ cần làm IRT sẽ thiếu thứ gì đó, và tương tự như vậy chỉ với EFA.

Tôi không có bất kỳ trích dẫn nào, nhưng đây là những gì tôi muốn đề xuất:

Zeroth: Nếu có thể, hãy chia dữ liệu thành tập huấn luyện và kiểm tra.

Đầu tiên làm EFA. Nhìn vào các giải pháp khác nhau để xem cái nào có ý nghĩa, dựa trên kiến ​​thức của bạn về các câu hỏi. Bạn sẽ phải làm điều này trước alpha của Cronbach, hoặc bạn sẽ không biết mặt hàng nào đi vào yếu tố nào. (Chạy alpha trên TẤT CẢ các mục có lẽ không phải là một ý tưởng tốt).

Tiếp theo, chạy alpha và xóa các mục có tương quan kém hơn nhiều so với các mục khác trong mỗi yếu tố. Tôi sẽ không đặt ra một mức cắt tùy ý, tôi sẽ tìm những cái thấp hơn nhiều so với những cái khác. Xem nếu xóa chúng có ý nghĩa.

Cuối cùng, chọn các mục có nhiều cấp độ "khó" khác nhau từ IRT.

Sau đó, nếu có thể, hãy làm lại điều này trên bộ thử nghiệm, nhưng không thực hiện bất kỳ khám phá nào. Đó là, xem kết quả tìm thấy trên tập huấn luyện hoạt động tốt như thế nào trên tập kiểm tra.

Tất cả ba tiêu chí được đề xuất của bạn thực sự có thể được thực hiện trong IRT, cụ thể hơn là IRT đa chiều. Nếu kích thước mẫu của bạn khá lớn có lẽ sẽ là một cách nhất quán để đi về nó cho từng tiểu cảnh. Bằng cách này, bạn có thể nhận được lợi ích của IRT khi lập mô hình vật phẩm một cách độc lập (sử dụng mô hình danh nghĩa cho một số mặt hàng, tín dụng một phần hoặc được phân loại cho các mặt hàng khác hoặc thậm chí có thể thiết lập thang đánh giá để giúp diễn giải các mặt hàng đa nghĩa theo cách tinh tế hơn).

$\theta$

$\theta$

Bạn có thể cố gắng xóa các mục không tuân thủ các yêu cầu một chiều của hầu hết các phần mềm IRT, nhưng tôi không nhất thiết phải đề xuất điều này nếu nó ảnh hưởng đến biểu diễn lý thuyết của các cấu trúc trong tay. Trong các ứng dụng thực nghiệm, tốt hơn là nên thử và làm cho các mô hình của chúng tôi phù hợp với lý thuyết của chúng tôi, không phải theo cách khác. Ngoài ra, đây là nơi mà các mô hình bifactor / hai lớp có xu hướng phù hợp vì bạn muốn bao gồm tất cả các mục có thể trong khi tính toán đa chiều theo cách có hệ thống và lý thuyết.