Xác thực câu hỏi


12

Tôi đang thiết kế một bảng câu hỏi cho luận án của tôi. Tôi đang trong quá trình xác nhận bản câu hỏi Tôi đã áp dụng thử nghiệm alpha của Cronbach cho nhóm mẫu ban đầu. Các câu trả lời cho bảng câu hỏi theo thang điểm Likert; bất cứ ai có thể đề nghị bất kỳ thử nghiệm tiếp theo để áp dụng để giúp kiểm tra tính hợp lệ của nó. Tôi không phải là một chuyên gia về thống kê vì vậy bất kỳ trợ giúp sẽ được đánh giá cao.

Tôi đã thực hiện một số nghiên cứu và có vẻ như tôi có thể thực hiện phân tích Rasch có ai có bất kỳ trang web phần mềm miễn phí nào để áp dụng thử nghiệm và lời khuyên này không?

Câu trả lời:


22

Tôi sẽ cho rằng bảng câu hỏi của bạn sẽ được coi là một thang đo một chiều (nếu không, Cronbach's alpha không có nhiều ý nghĩa). Rất đáng để chạy một phân tích nhân tố khám phá để kiểm tra điều đó. Nó cũng sẽ cho phép bạn xem các mục liên quan đến tỷ lệ như thế nào (nghĩa là thông qua các tải của chúng).

Các bước cơ bản để xác nhận các mục của bạn và quy mô của bạn nên bao gồm:

  • một báo cáo đầy đủ về số liệu thống kê cơ bản của vật phẩm (phạm vi, tứ phân vị, xu hướng trung tâm, hiệu ứng trần và sàn nếu có);
  • kiểm tra tính nhất quán bên trong như bạn đã thực hiện với alpha của mình (tốt nhất, đưa ra khoảng tin cậy 95%, vì nó phụ thuộc vào mẫu);
  • mô tả bạn số đo tóm tắt (ví dụ: tổng điểm hoặc trung bình, hay còn gọi là thang điểm) với các số liệu thống kê thông thường (biểu đồ + mật độ, lượng tử, v.v.);
  • kiểm tra các câu trả lời tóm tắt của bạn chống lại các đồng biến cụ thể được cho là có liên quan đến cấu trúc mà bạn đang đánh giá - điều này được gọi là tính hợp lệ của nhóm đã biết;
  • nếu có thể, hãy kiểm tra các câu trả lời tóm tắt của bạn đối với các công cụ đã biết có ý định đo lường cùng một cấu trúc ( tính hợp lệ đồng thời hoặc hội tụ).

Nếu thang đo của bạn không có chiều cao, các bước này phải được thực hiện cho từng tiểu cảnh và bạn cũng có thể đưa ra ma trận tương quan của các yếu tố để đánh giá cấu trúc nhân tố bậc hai (hoặc sử dụng mô hình phương trình cấu trúc, hoặc phân tích nhân tố xác nhận, hoặc bất cứ điều gì bạn muốn). Bạn cũng có thể đánh giá tính hợp lệ của tính hội tụ và phân biệt bằng cách sử dụng mô hình đa phương thức hoặc mô hình đa phương thức (dựa trên mối tương quan giữa các bên trong và giữa các thang đo), hoặc, một lần nữa, SEM.

Sau đó, tôi sẽ nói rằng Lý thuyết trả lời vật phẩm sẽ không giúp được gì nhiều trừ khi bạn quan tâm đến việc rút ngắn câu hỏi của mình, lọc ra một số mục hiển thị chức năng của vi phân hoặc sử dụng thử nghiệm của bạn trong một loại thử nghiệm thích ứng máy tính nào đó .

Trong mọi trường hợp, mô hình Rasch là dành cho các mục nhị phân. Đối với các mặt hàng được đặt hàng đa hình, các mô hình được sử dụng phổ biến nhất là:

  • mô hình trả lời được phân loại
  • mô hình tín dụng một phần
  • mô hình thang đánh giá.

Chỉ có hai người sau đến từ gia đình Rasch và về cơ bản họ sử dụng công thức tỷ lệ cược liền kề, với ý tưởng rằng chủ đề phải "vượt qua" một vài ngưỡng để xác nhận một loại phản ứng nhất định. Sự khác biệt giữa hai mô hình này là PCM không áp đặt các ngưỡng đó cách đều nhau trên thang đo theta ( khả năng hoặc vị trí chủ thể trên thang đo đặc điểm tiềm ẩn). Mô hình phản hồi được phân loại dựa trên công thức tỷ lệ cược tích lũy. Xin lưu ý rằng tất cả các mô hình này đều cho rằng thang đo là không có chiều; tức là chỉ có một đặc điểm tiềm ẩn. Có các giả định bổ sung như, ví dụ, tính độc lập cục bộ (nghĩa là mối tương quan giữa các phản hồi được giải thích bằng sự thay đổi trên thang đo khả năng).

Dù sao, bạn sẽ tìm thấy một tài liệu hướng dẫn rất đầy đủ và manh mối hữu ích để áp dụng phương pháp tâm lý trong R về khối lượng 20 trên tờ Journal of Phần mềm thống kê: Khối lượng đặc biệt: Psychometrics trong R . Về cơ bản, các gói R thú vị nhất mà tôi sử dụng trong công việc hàng ngày là: ltm , eRm , psych , psy . Những người khác được tham chiếu trên chế độ xem nhiệm vụ CRAN Tâm lý học . Các nguồn quan tâm khác là:

Một đánh giá tốt về việc sử dụng FA so với IRT trong phát triển quy mô có thể được tìm thấy trong xây dựng và đánh giá quy mô trong thực tế: Đánh giá phân tích nhân tố so với các ứng dụng lý thuyết phản ứng vật phẩm , bởi mười Holt et al (Mô hình đánh giá và kiểm tra tâm lý (2010) 52 (3): 272-297).


11

Trong khi hỗ trợ tất cả mọi thứ đã nói ở trên, tôi sẽ đề nghị bạn làm như sau (theo thứ tự đủ tương tự)

Đầu tiên, bạn nên sử dụng R, nếu không bạn nên bắt đầu. Lời khuyên sau đây được khẳng định khi sử dụng R.

Tôi sẽ cho rằng bạn có, tại thời điểm này, đã tính toán thống kê mô tả et al. Nếu không, gói psych có hàm description () sẽ cung cấp cho bạn các chỉ số bạn cần.

Cài đặt gói tâm lý từ CRAN. Tải gói tâm lý. Sử dụng thói quen fa.pool trên dữ liệu của bạn. Điều này sẽ cung cấp cho bạn một số yếu tố để giữ lại. Sau đó, sử dụng VSS (thói quen). Điều này sẽ tính toán tiêu chí MAP cung cấp cho bạn một số yếu tố (thông thường) khác nhau để giữ lại. Sử dụng một hình thức phân tích nhân tố (không phải thành phần chính) và xoay xiên cho mỗi số yếu tố. Nếu các yếu tố của bạn dường như không tương quan sau khi xoay xiên, hãy chuyển sang xoay vòng orooseonal. Đây là một cấu trúc trực giao có thể được xác định từ một vòng xoay xiên, nhưng không phải ngược lại.

Trích xuất tất cả các giải pháp nhân tố giữa tiêu chí MAP và tiêu chí phân tích song song. Xác định xem cái nào trong số này có chỉ số phù hợp nhất và có ý nghĩa nhất. Đây là một trong những bạn nên giữ lại.

Trên IRT, đã sử dụng cả ltm và eRm, tôi sẽ đề nghị bắt đầu với eRm. Nó có chức năng đồ họa tốt hơn cho các mô hình của bạn và hỗ trợ cho các mô hình đa hình thì lớn hơn. Điều đó đang được nói, nó chỉ phù hợp với các mô hình Rasch, và thường dữ liệu từ các câu hỏi tâm lý không đáp ứng các yêu cầu cho họ. Chúc may mắn! Tâm lý học là rất nhiều niềm vui, vì bạn sẽ không nghi ngờ gì khi khám phá.


1
(+1) Nghe hay đấy. Cảm ơn đã chia sẻ kinh nghiệm của bạn với mô hình IRT và FA. Ngoài các chức năng đồ họa, cách tiếp cận có điều kiện trong eRm phù hợp hơn với suy nghĩ ban đầu về theta của Rasch (như một tham số cố định).
chl

1

Xác nhận một bảng câu hỏi có nghĩa là chứng minh nó đo lường cái mà nó cần đo. Vì vậy, tôi muốn nói, đây chủ yếu không phải là một câu hỏi thống kê và nó không thể được trả lời mà không biết nội dung cụ thể của câu hỏi của bạn. Cronbach alpha không phải là về tính hợp lệ, mà là về tính nhất quán bên trong, phần nào liên quan đến độ tin cậy (hoặc người ta có thể nói nó độ tin cậy cho rằng các câu hỏi của bạn có thể thay thế cho nhau - nhưng chúng không như vậy).

Vì vậy, những gì bạn có thể làm để xác nhận câu hỏi của bạn? Bạn có thể nghiên cứu các quá trình tâm lý nào làm phát sinh mô hình kết quả cụ thể (ví dụ: bằng cách cố gắng tạo ra các mô hình đó bằng các thao tác thử nghiệm hoặc sử dụng quy trình suy nghĩ lớn ["phân tích giao thức", Ericsson & Simon, 1992]). Hoặc so sánh một số nhóm tương phản (ví dụ: bệnh nhân có kiểm soát) nên có điểm số khác nhau. Hoặc tương quan nó với một tiêu chí bên ngoài nên tương quan với đặc điểm bạn đang đo. Hoặc đo tính trạng bằng Tâm lý học (TM) và sử dụng nó làm tiêu chí.

Các câu trả lời khác hữu ích hơn trong việc chỉ ra những gì bạn có thể thực sự có thể làm - mặc dù hầu hết trong số đó là, nói đúng ra, không phải về tính hợp lệ (ví dụ: Chi tham khảo về "tính hợp lệ của nhóm đã biết" và tính hợp lệ bên ngoài).

Xem thêm Markus & Borsboom (2013) để biết cách tiếp cận hiện đại về tính hợp lệ (điều này và một số giới thiệu hữu ích khác @ trang chủ của Borsboom ).

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.