Sự khác biệt cơ bản trong RCT: Biến nào (nếu có) nên được đưa vào dưới dạng hiệp phương sai?

Gần đây tôi đã hoàn thành một nghiên cứu, theo đó tôi ngẫu nhiên chỉ định người tham gia vào một trong hai nhóm điều trị. Tôi đã thử nghiệm những người tham gia tại đường cơ sở, ngay lập tức sau can thiệp, 1 tháng và 4 tháng về một số lượng lớn các biến số kết quả. Tôi đã lên kế hoạch chạy một số ANOVA hỗn hợp để kiểm tra các tương tác thời gian của nhóm x. Một số so sánh sẽ là so sánh 2 (nhóm) x 2 (thời gian: đường cơ sở và sau can thiệp) và một số so sánh sẽ là 2 (nhóm) x 3 (thời gian: đường cơ sở, 1 tháng, 4 tháng) so sánh.

Trước khi bắt đầu phân tích, tôi đã so sánh hai nhóm điều trị trên tất cả các biến số cơ bản. Tôi thấy rằng các nhóm khác nhau trên 4 biến cơ sở nếu tôi sử dụng mức alpha 0,05 hoặc 2 biến cơ sở nếu tôi sử dụng cấp độ alpha là 0,01 để so sánh các nhóm.

Tôi có hai câu hỏi về điều này:

1. Tôi nên sử dụng cấp độ alpha nào để so sánh các nhóm tại đường cơ sở? Tôi đã suy nghĩ mức độ alpha là 0,01 bởi vì tôi đang so sánh hai nhóm về 24 đặc điểm cơ bản và tôi nghĩ rằng tôi nên chọn mức độ alpha nghiêm ngặt hơn 0,05 để giảm tỷ lệ lỗi thông minh trong gia đình khi thấy một số lượng lớn các bài kiểm tra thực hiện, nhưng từ bài đọc của tôi, có vẻ như hầu hết mọi người sử dụng 0,05. Bạn đề xuất món gì?

2. Tôi phải làm gì về những khác biệt này? Tôi có thể bao gồm các biến này dưới dạng đồng biến, nhưng kích thước mẫu của tôi khá nhỏ và sử dụng 4 biến số có vẻ không phù hợp (đó cũng là một phần lý do tại sao tôi chỉ chấp nhận sự khác biệt nếu chúng có ý nghĩa ở mức 0,05)

Bất kỳ trợ giúp về điều này sẽ được rất nhiều đánh giá cao!

Như Stephen Senn đã viết, không phù hợp để so sánh các phân phối cơ bản trong một nghiên cứu ngẫu nhiên. Cách tôi muốn nói về vấn đề này là đặt câu hỏi "bạn dừng ở đâu?", Tức là bạn nên quay lại bao nhiêu phương trình đường cơ sở khác? Bạn sẽ tìm thấy các đồng biến đối trọng nếu bạn nhìn đủ cứng.

Cơ sở để chọn một mô hình không phải là sự khác biệt hậu-hoc mà là kiến ​​thức về chủ đề apriori về các biến nào có khả năng là yếu tố dự báo quan trọng của biến phản ứng. Phiên bản cơ sở của biến trả lời chắc chắn là một yếu tố dự đoán thống trị nhưng có những thứ khác có khả năng quan trọng. Mục tiêu là giải thích sự không đồng nhất có thể giải thích trong kết quả để tối đa hóa độ chính xác và sức mạnh. Hầu như không có vai trò kiểm tra ý nghĩa thống kê trong xây dựng mô hình.

Một mô hình được chỉ định trước sẽ quan tâm đến sự khác biệt về cơ hội đối với các biến quan trọng - những biến dự đoán kết quả.

Thông thường, điều bạn nên quan tâm khi so sánh hai nhóm ở mức cơ bản không có quá nhiều ý nghĩa thống kê về sự khác biệt nhưng quy mô của sự khác biệt: có sự khác biệt nào trong số những khác biệt này đủ lớn để nghiên cứu không? Đủ lớn để ảnh hưởng đến các so sánh nhóm và các mối quan hệ khác nhau là trọng tâm của nghiên cứu? Đủ lớn để điều chỉnh cho nó (bằng cách sử dụng nó như một đồng biến) là cần thiết?

Bây giờ, trường hợp của bạn có một chút thú vị ở chỗ, ngay cả khi chỉ định ngẫu nhiên, bạn đã có 4 trong số 24 biến thể hiện sự khác biệt đáng kể ở mức 0,05 (17% thay vì 5% dự kiến). Điều đó có vẻ liên quan đến quá trình ngẫu nhiên của bạn hoặc một số khía cạnh khác của nghiên cứu. Nhưng về mặt lý thuyết, nếu việc ngẫu nhiên được thực hiện hoàn hảo và không có sự tiêu hao nào trong cả hai nhóm sau đó, thì kết quả cực đoan này hoặc nhiều hơn sẽ xảy ra 2,4% thời gian, dựa trên 24! / (4! (24-4)!) ( 0,05 ^ 4) (0,95 ^ (24-4)). Rốt cuộc, đó không thực sự là một sự cố hiếm gặp. Những gì bạn có cũng có thể là một tập hợp các sự khác biệt ngẫu nhiên. Tôi sẽ gắn bó với việc đánh giá dựa trên mức độ khác biệt.

+1 vào @FrankHarrell. Tôi có thể thêm một điểm nhỏ. Nếu bạn chỉ định ngẫu nhiên những người tham gia của mình cho các nhóm, bất kỳ sự khác biệt 'đáng kể' nào trong các giá trị đồng biến trước khi can thiệp đều nhất thiết là lỗi loại I.