Biến chứng của việc có một mẫu rất nhỏ trong mô hình phương trình cấu trúc

Tôi đang chạy mô hình phương trình cấu trúc (SEM) trong A-mốt 18. Tôi đang tìm kiếm 100 người tham gia cho thí nghiệm của mình (được sử dụng một cách lỏng lẻo), được coi là có thể không đủ để tiến hành SEM thành công. Tôi đã được nhắc đi nhắc lại rằng SEM (cùng với EFA, CFA) là một quy trình thống kê "mẫu lớn". Tóm lại, tôi đã không đạt được 100 người tham gia (thật bất ngờ!) Và chỉ có 42 sau khi loại trừ hai điểm dữ liệu có vấn đề. Vì thích thú, dù sao tôi cũng đã thử mô hình, và thật ngạc nhiên, nó dường như rất phù hợp! CFI> .95, RMSEA <.09, SRMR <.08.

Mô hình không đơn giản, trên thực tế, tôi sẽ nói nó tương đối phức tạp. Tôi có hai biến tiềm ẩn, một biến có hai biến quan sát và biến còn lại có 5 biến quan sát. Tôi cũng có bốn biến quan sát bổ sung trong mô hình. Có rất nhiều mối quan hệ giữa các biến, gián tiếp và trực tiếp, với một số biến là nội sinh với bốn biến khác, là một ví dụ.

Tôi hơi mới đối với SEM; tuy nhiên, hai cá nhân mà tôi biết khá quen thuộc với SEM nói với tôi rằng miễn là các chỉ số phù hợp là tốt, các hiệu ứng có thể hiểu được (miễn là chúng có ý nghĩa) và không có gì "sai" đáng kể với mô hình. Tôi biết một số chỉ số phù hợp được thiên vị cho hoặc chống lại các mẫu nhỏ về mặt gợi ý phù hợp tốt, nhưng ba chỉ dẫn mà tôi đã đề cập trước đó có vẻ ổn và tôi tin rằng không thiên vị tương tự. Để kiểm tra các hiệu ứng gián tiếp Tôi đang sử dụng bootstrapping (2000 mẫu hoặc hơn), độ tin cậy đã điều chỉnh sai lệch 90%, monte carlo. Một lưu ý nữa là tôi đang chạy ba SEM khác nhau cho ba điều kiện khác nhau.

Tôi có hai câu hỏi mà tôi muốn một số bạn xem xét và vui lòng trả lời nếu bạn có điều gì muốn đóng góp:

1. Có bất kỳ điểm yếu đáng kể nào đối với mô hình của tôi không được thể hiện bằng các chỉ số phù hợp không? Mẫu nhỏ sẽ được đánh dấu là một điểm yếu của nghiên cứu, nhưng tôi tự hỏi liệu có vấn đề thống kê lớn nào mà tôi hoàn toàn không biết. Tôi dự định sẽ có thêm 10-20 người tham gia trong tương lai, nhưng điều này vẫn sẽ để lại cho tôi một mẫu tương đối nhỏ cho các phân tích như vậy.

2. Có bất kỳ vấn đề nào với việc sử dụng bootstrapping của tôi với mẫu nhỏ của tôi không, hoặc bối cảnh tôi đang sử dụng nó?

Tôi hy vọng những câu hỏi này không quá "cơ bản" cho diễn đàn này. Tôi đã đọc một số chương về SEM và các vấn đề liên quan, nhưng tôi thấy mọi người rất phân tán về các ý kiến ​​trong lĩnh vực này!

Chúc mừng

Một điểm: không có thứ gọi là "câu hỏi cơ bản", bạn chỉ biết những gì bạn biết chứ không phải những gì bạn không biết. đặt câu hỏi thường là cách duy nhất để tìm hiểu.

Bất cứ khi nào bạn nhìn thấy các mẫu nhỏ, bạn sẽ tìm ra ai thực sự có "niềm tin" trong các mô hình của họ và ai không. Tôi nói điều này bởi vì các mẫu nhỏ thường là nơi các mô hình có tác động lớn nhất.

Là một người điều hành sắc sảo (tâm lý?), Tôi nói đi cho nó! Bạn dường như đang áp dụng một cách tiếp cận thận trọng, và bạn đã thừa nhận sự thiên vị tiềm năng, vv do mẫu nhỏ. Một điều cần lưu ý với các mô hình phù hợp với dữ liệu nhỏ là bạn có 12 biến. Bây giờ bạn nên nghĩ - bất kỳ mô hình nào có 12 biến có thể được xác định bằng 42 quan sát? Nếu bạn có 42 biến, thì bất kỳ mô hình nào cũng có thể hoàn toàn phù hợp với 42 quan sát đó (nói một cách lỏng lẻo), vì vậy trường hợp của bạn không quá xa vì quá linh hoạt. Điều gì xảy ra khi mô hình của bạn quá linh hoạt? Nó có xu hướng phù hợp với tiếng ồn - đó là, các mối quan hệ được xác định bởi những thứ khác hơn là những gì bạn đưa ra giả thuyết.

Bạn cũng có cơ hội đặt cái tôi của mình vào nơi mô hình của bạn bằng cách dự đoán những mẫu 10-20 trong tương lai sẽ là gì từ mô hình của bạn. Tôi tự hỏi làm thế nào các nhà phê bình của bạn sẽ phản ứng với một mô hình được gọi là "tinh ranh" đưa ra dự đoán đúng. Lưu ý rằng bạn sẽ nhận được một "Tôi đã nói với bạn như vậy" nếu mô hình của bạn không dự đoán tốt dữ liệu.

Một cách khác bạn có thể đảm bảo với bản thân rằng kết quả của bạn đáng tin cậy, là thử và phá vỡ chúng. Giữ nguyên dữ liệu ban đầu của bạn, tạo một bộ dữ liệu mới và xem những gì bạn phải làm với bộ dữ liệu mới này để làm cho kết quả SEM của bạn có vẻ vô lý. Sau đó nhìn vào những gì bạn phải làm, và xem xét: đây có phải là một kịch bản hợp lý? Dữ liệu "lố bịch" của tôi có giống với khả năng thực sự không? Nếu bạn phải đưa dữ liệu của mình đến lãnh thổ vô lý để tạo ra kết quả vô lý, nó cung cấp một số đảm bảo (heuristic, không chính thức) rằng phương pháp của bạn là âm thanh.

Vấn đề chính mà tôi thấy với điều này là thiếu sức mạnh. Yếu tố xác nhận và thử nghiệm SEM xem xét chấp nhận null - bạn muốn thấy giá trị p không đáng kể - vì vậy thiếu năng lượng có thể là một vấn đề. Sức mạnh của phép thử phụ thuộc vào cỡ mẫu (42) và mức độ tự do. AMOS cung cấp cho bạn mức độ tự do. Bạn đã không trích dẫn nó, nhưng nó sẽ không lớn trong trường hợp này. Với 12 biến, bạn bắt đầu với 66 DF và trừ 1 cho mỗi tham số mà bạn ước tính. Tôi không biết sẽ có bao nhiêu, nhưng bạn nói rằng bạn có một số yếu tố và mối tương quan giữa các cấu trúc khác nhau.

Tôi không hoàn toàn đồng ý với Rolando2. Trong SEM, bạn có được bằng cách có nhiều biến, giả sử rằng chúng là các chỉ số đáng tin cậy của các cấu trúc cơ bản. Vì vậy, đừng giảm số lượng biến. Vì lý do tương tự, tôi không hoàn toàn đồng ý với @probabilityislogic. Trong SEM, bạn không cố gắng mô hình hóa 12 biến với 42 quan sát. Bạn đang cố gắng mô hình hóa các cấu trúc thông qua 12 chỉ số, được củng cố bởi 42 lần lặp lại. Một mô hình nhân tố rất đơn giản - 1 yếu tố với 12 chỉ số - có thể có thể được thử nghiệm với 42 người.

RMSEA và các tính tốt khác của các biện pháp phù hợp sẽ có xu hướng cải thiện khi bạn gần bão hòa mô hình, do đó, một lần nữa, bạn có nguy cơ dẫn đến kết quả sai lệch.

Điều đó đang được nói, tôi đã thấy các tập dữ liệu nhỏ từ chối một mô hình nhân tố. Nó có thể có nghĩa là một cái gì đó phù hợp có vẻ là tốt.

Lưu ý: Bạn cũng có thể kiểm tra phần dư của mô hình SEM. Đây là những khác biệt giữa ma trận hiệp phương sai ước tính và ma trận hiệp phương sai mô hình. AMOS sẽ cung cấp cho bạn nếu bạn yêu cầu họ. Kiểm tra các phần dư có thể cho biết nếu chúng được phân bố đều, hoặc nếu hiệp phương sai nhất định được trang bị rất tệ.