Theo dõi: Trong một hỗn hợp giữa các ANOVA ước tính SE hoặc SE thực tế?

Tôi hiện đang hoàn thành một bài báo và vấp phải câu hỏi này từ ngày hôm qua , điều đó khiến tôi đặt ra câu hỏi tương tự với chính mình. Là tốt hơn để cung cấp biểu đồ của tôi với lỗi tiêu chuẩn thực tế từ dữ liệu hoặc ước tính từ ANOVA của tôi?
Vì câu hỏi từ ngày hôm qua khá đặc biệt và tôi khá cụ thể, tôi nghĩ rằng nó sẽ phù hợp để đặt ra câu hỏi tiếp theo này.

Chi tiết:
Tôi đã thực hiện một thử nghiệm trong một số lĩnh vực tâm lý học nhận thức (lý luận có điều kiện) so sánh hai nhóm (hướng dẫn quy nạp và suy diễn, nghĩa là thao tác giữa các chủ thể) với hai thao tác bên trong chủ đề (loại vấn đề và nội dung của vấn đề, mỗi nhóm hai cấp độ yếu tố).

Các kết quả trông như thế này (bảng bên trái có ước tính SE từ Đầu ra ANOVA, bảng bên phải có SE được ước tính từ dữ liệu):
Lưu ý rằng các dòng khác nhau đại diện cho hai nhóm khác nhau (nghĩa là thao tác giữa các chủ thể) và bên trong- các thao tác của đối tượng được vẽ trên trục x (nghĩa là các mức hệ số 2x2).

Trong văn bản tôi cung cấp các kết quả tương ứng của ANOVA và thậm chí so sánh theo kế hoạch cho tương tác chéo quan trọng ở giữa. Các SE có mặt để cung cấp cho người đọc một số gợi ý về tính biến đổi của dữ liệu. Tôi thích các SE hơn độ lệch chuẩn và khoảng tin cậy vì nó không phổ biến đối với các biểu đồ SD và có những vấn đề nghiêm trọng khi so sánh các TCTD bên trong và giữa các đối tượng (vì điều tương tự chắc chắn áp dụng cho các SE, nó không quá phổ biến đối với sự khác biệt đáng kể từ họ).

Để lặp lại câu hỏi của tôi: tốt hơn là vẽ các SE được ước tính từ ANOVA hay tôi nên vẽ các SE được ước tính từ dữ liệu thô?

Cập nhật:
Tôi nghĩ rằng tôi nên rõ ràng hơn một chút về các SE ước tính là gì. Đầu ra ANOVA trong SPSS mang lại cho tôi estimated marginal meanscác SE và CIs tương ứng. Đây là những gì được vẽ trong biểu đồ bên trái. Theo tôi hiểu điều này, họ nên là SD của phần dư. Nhưng, khi lưu phần dư, SD của họ không bằng cách nào đó gần các SE ước tính. Vì vậy, một (cụ thể có khả năng SPSS) Câu hỏi thứ sẽ là:
các DNNN là gì?

CẬP NHẬT 2: Cuối cùng tôi cũng đã viết được một hàm R có thể tạo ra một cốt truyện vì cuối cùng tôi cũng thích nó (xem câu trả lời được chấp nhận của tôi). Nếu bất cứ ai có thời gian, tôi sẽ thực sự đánh giá cao nếu bạn có thể xem nó. Nó đây rồi

Như một hệ quả của các câu trả lời và thảo luận đầy cảm hứng cho câu hỏi của tôi, tôi đã xây dựng các sơ đồ sau không dựa trên bất kỳ tham số dựa trên mô hình nào, nhưng trình bày dữ liệu cơ bản.

Lý do là độc lập với bất kỳ loại lỗi tiêu chuẩn nào tôi có thể chọn, lỗi tiêu chuẩn là một tham số dựa trên mô hình. Vì vậy, tại sao không trình bày dữ liệu cơ bản và từ đó truyền thêm thông tin?

Hơn nữa, nếu chọn SE từ ANOVA, có hai vấn đề phát sinh cho các vấn đề cụ thể của tôi.
Đầu tiên (ít nhất là đối với tôi) bằng cách nào đó không rõ SEs từ SPSSANOVA Output thực sự là gì ( xem thêm cuộc thảo luận này, trong các bình luận ). Chúng bằng cách nào đó có liên quan đến MSE nhưng chính xác thì tôi không biết.
Thứ hai, chúng chỉ hợp lý khi các giả định cơ bản được đáp ứng. Tuy nhiên, như các âm mưu sau đây cho thấy, các giả định về tính đồng nhất của phương sai bị vi phạm rõ ràng.

Các lô với boxplots:

Các lô với tất cả các điểm dữ liệu:

Lưu ý rằng hai nhóm bị trật khớp một chút về bên trái hoặc bên phải: suy ra bên trái, quy nạp bên phải. Các phương tiện vẫn được vẽ trong màu đen và dữ liệu hoặc hình hộp trong nền màu xám. Sự khác biệt giữa các ô bên trái và bên phải là nếu các phương tiện bị trật khớp giống như các điểm hoặc ô vuông hoặc nếu chúng được trình bày tập trung.
Xin lỗi về chất lượng không tối ưu của đồ thị và nhãn trục x bị thiếu.

Câu hỏi còn lại là, cái nào trong số các ô trên là cái được chọn bây giờ. Tôi phải suy nghĩ về nó và hỏi tác giả khác của bài báo của chúng tôi. Nhưng ngay bây giờ, tôi thích "điểm có nghĩa là bị trật khớp". Và tôi vẫn sẽ rất quan tâm đến ý kiến.

Cập nhật: Sau một số chương trình, cuối cùng tôi cũng đã viết được một hàm R để tự động tạo ra một cốt truyện giống như các điểm có nghĩa là bị trật khớp. Kiểm tra nó (và gửi cho tôi ý kiến) !

Bạn sẽ không tìm thấy một thanh lỗi hợp lý duy nhất cho các mục đích suy luận với kiểu thiết kế thử nghiệm này. Đây là một vấn đề cũ không có giải pháp rõ ràng.

Dường như không thể có ước tính SE của bạn ở đây. Có hai loại lỗi chính trong thiết kế như vậy, lỗi giữa và trong S. Họ thường rất khác nhau và không thể so sánh được. Thực sự không có thanh lỗi đơn nào tốt để thể hiện dữ liệu của bạn.

Người ta có thể lập luận rằng các SE hoặc SD thô từ dữ liệu là quan trọng nhất theo nghĩa mô tả hơn là suy diễn. Họ có thể nói về chất lượng của ước tính xu hướng trung tâm (SE) hoặc tính biến thiên của dữ liệu (SD). Tuy nhiên, ngay cả khi đó nó có phần không rõ ràng bởi vì thứ bạn đang kiểm tra và đo lường trong S không phải là giá trị thô mà là hiệu ứng của biến trong S. Do đó, việc báo cáo sự thay đổi của các giá trị thô là vô nghĩa hoặc sai lệch đối với các hiệu ứng S.

Tôi thường xác nhận không có thanh lỗi trên các biểu đồ như vậy và các biểu đồ hiệu ứng liền kề biểu thị sự thay đổi của các hiệu ứng. Người ta có thể có CI trên biểu đồ đó là hoàn toàn hợp lý. Xem Masson & Loftus (2003) để biết ví dụ về biểu đồ hiệu ứng. Đơn giản chỉ cần loại bỏ các thanh lỗi ((khá nhiều hoàn toàn vô dụng) của chúng xung quanh các giá trị trung bình chúng hiển thị và chỉ sử dụng các thanh lỗi hiệu ứng.

Đối với nghiên cứu của bạn, trước tiên tôi sẽ thay thế dữ liệu theo thiết kế 2 x 2 x 2, đó là (2 bảng 2x2) và sau đó vẽ ngay một biểu đồ với các khoảng tin cậy về tính hợp lệ, tính hợp lý, hướng dẫn và hiệu ứng tương tác. Đặt SD và SE cho các nhóm hướng dẫn trong bảng hoặc trong văn bản.

(chờ phản hồi phân tích hiệu ứng hỗn hợp dự kiến;))

CẬP NHẬT: OK, sau khi chỉnh sửa, điều rõ ràng duy nhất bạn muốn là SE được sử dụng để hiển thị chất lượng của ước tính giá trị. Trong trường hợp đó sử dụng các giá trị mô hình của bạn. Cả hai giá trị đều dựa trên một mô hình và không có giá trị 'đúng' trong mẫu của bạn. Sử dụng những cái từ mô hình bạn áp dụng cho dữ liệu của bạn. NHƯNG, hãy chắc chắn rằng bạn cảnh báo người đọc trong chú thích hình rằng những SE này không có giá trị suy luận nào cho các hiệu ứng hoặc tương tác S của bạn.

CẬP NHẬT2: Nhìn lại dữ liệu bạn đã trình bày ... có vẻ đáng ngờ giống như tỷ lệ phần trăm không nên được phân tích với ANOVA ở vị trí đầu tiên. Cho dù đó là hay không, đó là một biến tối đa ở mức 100 và đã giảm phương sai ở các cực trị nên vẫn không nên phân tích bằng ANOVA. Tôi làm rất giống như âm mưu rm.plot của bạn. Tôi vẫn bị cám dỗ thực hiện các ô riêng biệt giữa các điều kiện, hiển thị dữ liệu thô và trong các điều kiện hiển thị dữ liệu với độ biến thiên giữa S.

Đây trông giống như một thử nghiệm rất hay, vì vậy xin chúc mừng!

Tôi đồng ý với John Christie, đây là một mô hình hỗn hợp, nhưng miễn là nó có thể được chỉ định đúng trong thiết kế ANOVA (& được cân bằng) Tôi không hiểu tại sao nó không thể được tạo ra như vậy. Hai yếu tố bên trong và 1 yếu tố giữa các chủ thể, nhưng yếu tố giữa các chủ thể (quy nạp / suy diễn) rõ ràng tương tác (sửa đổi) các hiệu ứng bên trong chủ thể. Tôi giả sử các phương tiện được vẽ là từ mô hình ANOVA (LHS) và do đó mô hình được chỉ định chính xác. Làm tốt lắm - điều này không tầm thường!

Một số điểm: 1) Lỗi "ước tính" so với "thực tế" "là sự phân đôi giả. Cả hai đều giả định một mô hình cơ bản và ước tính trên cơ sở đó. Nếu mô hình hợp lý, tôi sẽ lập luận rằng tốt hơn là sử dụng các ước tính dựa trên mô hình (chúng dựa trên việc gộp các mẫu lớn hơn). Nhưng như James đề cập, các lỗi khác nhau tùy thuộc vào sự so sánh bạn đang thực hiện, do đó không thể có đại diện đơn giản nào.

2) Tôi thích xem các ô hình hộp hoặc các điểm dữ liệu riêng lẻ được vẽ (nếu không có quá nhiều), có lẽ với một số jitter đi ngang, do đó, các điểm có cùng giá trị có thể được phân biệt.

http://en.wikipedia.org/wiki/Box_plot

3) Nếu bạn phải vẽ ước tính sai số của giá trị trung bình, không bao giờ vẽ biểu đồ SD - chúng là ước tính độ lệch chuẩn của mẫu và liên quan đến độ lệch của dân số, không phải là so sánh thống kê về phương tiện. Nói chung, tốt hơn là vẽ các khoảng tin cậy 95% thay vì SE, nhưng không phải trong trường hợp này (xem điểm 1 và điểm của John)

4) Một vấn đề với dữ liệu này liên quan đến tôi là giả định về phương sai thống nhất có thể bị vi phạm vì dữ liệu "MP hợp lệ và hợp lý" rõ ràng bị hạn chế bởi giới hạn 100%, đặc biệt là đối với những người suy luận. Tôi nghĩ rằng vấn đề này quan trọng đến mức nào. Chuyển sang một logit hiệu ứng hỗn hợp (xác suất nhị thức) có lẽ là giải pháp lý tưởng, nhưng đó là một câu hỏi khó. Nó có thể là tốt nhất để cho người khác trả lời.

Gần đây tôi đã sử dụng phân tích hiệu ứng hỗn hợp và trong nỗ lực phát triển phương pháp phân tích dữ liệu trực quan đi kèm, tôi đã sử dụng bootstrapping ( xem mô tả của tôi ở đây ), mang lại khoảng tin cậy không dễ bị ảnh hưởng giữa các rắc rối của các TCTD thông thường.

Ngoài ra, tôi sẽ tránh ánh xạ nhiều biến vào cùng một thẩm mỹ thị giác, như bạn đã làm trong biểu đồ trên; bạn có 3 biến (MP / AC, hợp lệ / không hợp lệ, hợp lý / không hợp lý) được ánh xạ tới trục x, điều này khiến cho việc phân tích thiết kế và các mẫu khá khó khăn. Tôi sẽ đề nghị thay vì ánh xạ, giả sử MP / AC sang trục x, hợp lệ / không hợp lệ cho các cột khía cạnh và hợp lý / không hợp lý đối với các hàng khía cạnh. Kiểm tra ggplot2 trong R để dễ dàng đạt được điều này, ví dụ:

library(ggplot2)
ggplot(
    data = my_data
    , mapping = aes(
        y = mean_endorsement
        , x = mp_ac
        , linetype = deductive_inductive
        , shape = deductive_inductive
)+
geom_point()+
geom_line()+
facet_grid(
    plausible_implausible ~ valid_invalid
)