Đánh giá độ tin cậy của một bảng câu hỏi: chiều, các mặt hàng có vấn đề và liệu có nên sử dụng alpha, lambda6 hoặc một số chỉ số khác không?

Tôi đang phân tích điểm số được đưa ra bởi những người tham gia một thí nghiệm. Tôi muốn ước tính độ tin cậy của bảng câu hỏi của tôi bao gồm 6 mục nhằm ước tính thái độ của những người tham gia đối với một sản phẩm.

Tôi đã tính toán alpha của Cronbach coi tất cả các mục theo một thang đo (alpha là khoảng 0,6) và xóa một mục tại một thời điểm (tối đa alpha là khoảng 0,72). Tôi biết rằng alpha có thể được đánh giá thấp và đánh giá quá cao tùy thuộc vào số lượng vật phẩm và kích thước của cấu trúc cơ bản. Vì vậy, tôi cũng đã thực hiện một PCA. Phân tích này cho thấy có ba thành phần chính giải thích khoảng 80% phương sai. Vì vậy, câu hỏi của tôi là tất cả về làm thế nào tôi có thể tiến hành bây giờ?

• Tôi có cần thực hiện tính toán alpha trên mỗi chiều không?
• Tôi có loại bỏ các mục ảnh hưởng đến độ tin cậy?

Hơn nữa, tìm kiếm trên web tôi thấy có một thước đo độ tin cậy khác: lambda6 của guttman.

• Sự khác biệt chính giữa biện pháp này và alpha là gì?
• Giá trị tốt của lambda là gì?

Tôi nghĩ rằng @Jeromy đã nói điều cần thiết nên tôi sẽ tập trung vào các biện pháp về độ tin cậy.

Alpha của Cronbach là một chỉ số phụ thuộc vào mẫu được sử dụng để xác định giới hạn thấp hơn về độ tin cậy của thiết bị. Nó không hơn một chỉ số về phương sai được chia sẻ bởi tất cả các mục được xem xét trong tính toán của thang điểm. Do đó, không nên nhầm lẫn với một thước đo tuyệt đối về độ tin cậy, cũng như không áp dụng cho toàn bộ công cụ đa chiều. Trong thực tế, các giả định sau đây được đưa ra: (a) không có tương quan dư, (b) các mặt hàng có tải trọng giống hệt nhau và (c) thang đo là một chiều. Điều này có nghĩa là trường hợp duy nhất mà alpha về cơ bản sẽ giống như độ tin cậylà trường hợp tải nhân tố cao đồng đều, không có hiệp phương sai và công cụ một chiều (1). Vì độ chính xác của nó phụ thuộc vào lỗi tiêu chuẩn của các lần xen kẽ vật phẩm, nó phụ thuộc vào sự lan truyền của các mối tương quan vật phẩm, điều đó có nghĩa là alpha sẽ phản ánh phạm vi tương quan này bất kể nguồn hoặc nguồn của phạm vi cụ thể này (ví dụ: lỗi đo lường hoặc đa chiều). Điểm này phần lớn được thảo luận trong (2). Điều đáng chú ý là khi alpha là 0,70, ngưỡng tin cậy được giới thiệu rộng rãi cho mục đích so sánh nhóm (3,4), sai số chuẩn của phép đo sẽ hơn một nửa (0,55) độ lệch chuẩn. Hơn nữa, Cronbach alpha là thước đo tính nhất quán nội bộ, nó không phải là thước đo của tính không đồng nhất và không thể được sử dụng để suy ra tính không đồng nhất (5). Cuối cùng, chúng ta có thể trích dẫn chính LJ Cronbach,

Hệ số là một thiết bị thô không mang lại cho bề mặt nhiều sự tinh tế được ngụ ý bởi các thành phần phương sai. Cụ thể, các diễn giải được đưa ra trong các đánh giá hiện tại được đánh giá tốt nhất thông qua việc sử dụng sai số chuẩn của phép đo. --- Cronbach & Shavelson, (6)

Có nhiều cạm bẫy khác đã được thảo luận chủ yếu trong một số bài báo trong 10 năm qua (ví dụ: 7-10).

Guttman (1945) đã đề xuất một loạt 6 chỉ số được gọi là lambda để đánh giá giới hạn dưới tương tự về độ tin cậy và giới hạn thấp nhất của Guttman là tương đương hoàn toàn với alpha của Cronbach. Nếu thay vì ước tính phương sai thực sự của từng mặt hàng là hiệp phương sai trung bình giữa các mặt hàng, chúng tôi xem xét lượng phương sai trong từng mặt hàng có thể được tính bằng hồi quy tuyến tính của tất cả các mặt hàng khác (hay còn gọi là tương quan nhiều bình phương), chúng tôi nhận được ước tính, cũng có thể được tính cho công cụ đa quy mô. Thông tin chi tiết có thể được tìm thấy trong sách giáo khoa sắp tới của William Revelle, Giới thiệu về lý thuyết tâm lý học với các ứng dụng trong R (chương 7). (Ông cũng là tác giả của tâm lý$\lambda_3$$\lambda_6$Gói R.) Đặc biệt, bạn có thể quan tâm đến việc đọc phần 7.2.5 và 7.3, vì nó đưa ra một cái nhìn tổng quan về các biện pháp thay thế, như McDonald hoặc (thay vì sử dụng tương quan nhiều bình phương, chúng tôi sử dụng tính duy nhất của mặt hàng như được xác định từ mô hình FA) hoặc của Revelle (thay thế FA bằng phân tích cụm phân cấp, để thảo luận tổng quát hơn xem (12,13)) và cung cấp so sánh dựa trên mô phỏng của tất cả các chỉ số.$\omega_t$$\omega_h$$\beta$

Người giới thiệu

1. Raykov, T. (1997). Độ tin cậy của thang đo, hệ số alpha của Cronbach và vi phạm tương đương tau thiết yếu đối với các thành phần bẩm sinh cố định. Nghiên cứu hành vi đa biến , 32, 329-354.
2. Cortina, JM (1993). Hệ số Alpha là gì? Một bài kiểm tra lý thuyết và ứng dụng . Tạp chí Tâm lý học ứng dụng , 78 (1), 98-104.
3. Nunnally, JC và Bernstein, IH (1994). Lý thuyết tâm lý học . Sê-ri McGraw-Hill trong Tâm lý học, ấn bản thứ ba.
4. De Vaus, D. (2002). Phân tích dữ liệu khoa học xã hội . London: Ấn phẩm hiền triết.
5. Danes, JE và Mann, OK. (1984). Đo lường đơn chiều và mô hình phương trình cấu trúc với các biến tiềm ẩn. Tạp chí nghiên cứu kinh doanh , 12, 337-352.
6. Cronbach, LJ và Shavelson, RJ (2004). Suy nghĩ hiện tại của tôi về hệ số alpha và kế thừa . Đo lường giáo dục và tâm lý , 64 (3), 391-418.
7. Schmitt, N. (1996). Sử dụng và lạm dụng hệ số Alpha . Đánh giá tâm lý , 8 (4), 350-353.
8. Iacobucci, D. và Duhachek, A. (2003). Tiến bộ Alpha: Đo lường độ tin cậy với sự tự tin . Tạp chí Tâm lý học người tiêu dùng , 13 (4), 478-487.
9. Shevlin, M., Miles, JNV, Davies, MNO và Walker, S. (2000). Hệ số alpha: một chỉ số hữu ích về độ tin cậy? Sự khác biệt về tính cách và cá nhân , 28, 229-237.
10. Fong, DYT, Ho, SY và Lam, TH (2010). Đánh giá độ tin cậy nội bộ trong sự hiện diện của các phản ứng không nhất quán . Sức khỏe và chất lượng của kết quả cuộc sống , 8, 27.
11. Guttman, L. (1945). Một cơ sở để phân tích độ tin cậy kiểm tra lại. Tâm lý học , 10 (4), 255-282.
12. Zinbarg, RE, Revelle, W., Yigs, I., và Li, W. (2005). Cronbach's , Revelle's và McDonald : Mối quan hệ của họ với nhau và hai khái niệm thay thế về độ tin cậy$\alpha$$\beta$$\omega_h$ . Tâm lý học , 70 (1), 123-133.
13. Revelle, W. và Zinbarg, RE (2009) Các hệ số alpha, beta, omega và glb: nhận xét về Sijtsma . Tâm lý học , 74 (1), 145-154

Dưới đây là một số ý kiến ​​chung:

• PCA : Phân tích PCA không "tiết lộ rằng có ba thành phần chính". Bạn đã chọn trích xuất ba thứ nguyên hoặc bạn dựa vào một số quy tắc mặc định (thường là giá trị riêng trên 1) để quyết định số lượng thứ nguyên cần trích xuất. Ngoài ra, giá trị riêng trên một thường trích xuất nhiều kích thước hơn là hữu ích.
• Đánh giá kích thước vật phẩm: Tôi đồng ý rằng bạn có thể sử dụng PCA để đánh giá kích thước của vật phẩm. Tuy nhiên, tôi thấy rằng việc nhìn vào âm mưu scree có thể cung cấp một hướng dẫn tốt hơn cho số lượng kích thước. Bạn có thể muốn xem trang này của William Revelle về việc đánh giá kích thước tỷ lệ .
• Làm thế nào để tiến hành?
  • Nếu thang đo được thiết lập tốt , thì bạn có thể muốn để nguyên như vậy (giả sử các thuộc tính của nó ít nhất là hợp lý; mặc dù trong trường hợp của bạn, 0,6 tương đối kém theo hầu hết các tiêu chuẩn).
  • Nếu thang đo không được thiết lập tốt , thì bạn nên xem xét về mặt lý thuyết những mục nào được đo và mục đích bạn muốn sử dụng thang đo kết quả là gì. Cho rằng bạn chỉ có sáu mục, bạn không có nhiều chỗ để tạo nhiều tỷ lệ mà không giảm xuống số lượng mục đáng lo ngại trên mỗi tỷ lệ. Đồng thời, nên kiểm tra xem có bất kỳ mục nào có vấn đề dựa trên các vấn đề về sàn, trần hoặc độ tin cậy thấp hay không. Ngoài ra, bạn có thể muốn kiểm tra xem có bất kỳ mục nào cần được đảo ngược hay không.
  • Tôi kết hợp một số liên kết đến các tài nguyên chung về phát triển quy mô mà bạn có thể thấy hữu ích

Sau đây giải quyết các câu hỏi cụ thể của bạn:

• Tôi có cần thực hiện tính toán alpha trên mỗi chiều không?
  • Như bạn có thể thu thập từ các cuộc thảo luận ở trên, tôi không nghĩ bạn nên đối xử với dữ liệu của mình như thể bạn có ba chiều. Có một loạt các đối số mà bạn có thể đưa ra tùy thuộc vào mục đích và chi tiết của bạn, vì vậy thật khó để nói chính xác phải làm gì. Trong hầu hết các trường hợp, tôi sẽ tìm cách tạo ra ít nhất một thang đo tốt (có thể xóa một mục) thay vì ba thang đo không đáng tin cậy.
• Tôi có loại bỏ các mục ảnh hưởng đến độ tin cậy?
  • Tuỳ bạn. Nếu quy mô được thiết lập, sau đó bạn có thể chọn không. Nếu kích thước mẫu của bạn nhỏ, nó có thể là một sự bất thường của lấy mẫu ngẫu nhiên. Tuy nhiên, nói chung tôi sẽ có xu hướng xóa một mục nếu nó thực sự giảm alpha của bạn từ 0,72 xuống 0,60. Tôi cũng sẽ kiểm tra xem mặt hàng có vấn đề này không thực sự bị đảo ngược.

Tôi sẽ để lại cuộc thảo luận về lambda 6 (được thảo luận bởi William Revelle tại đây ) cho những người khác.