Liệu kiểm tra ý nghĩa có ý nghĩa để so sánh các nhóm ngẫu nhiên tại đường cơ sở?

Nhiều bài báo thử nghiệm ngẫu nhiên có kiểm soát (RCT) báo cáo các bài kiểm tra quan trọng về các thông số cơ bản ngay sau / trước khi ngẫu nhiên hóa để cho thấy rằng các nhóm thực sự giống nhau. Đây thường là một phần của bảng "đặc điểm cơ bản". Tuy nhiên, các thử nghiệm quan trọng đo lường xác suất nhận được sự khác biệt quan sát (hoặc mạnh hơn) một cách tình cờ, phải không? Và nếu thử nghiệm có ý nghĩa, chúng tôi kết luận rằng có một sự khác biệt thực sự bởi vì sự khác biệt ngẫu nhiên ở mức độ đó sẽ khó xảy ra . Liệu một bài kiểm tra quan trọng có ý nghĩa gì sau khi ngẫu nhiên hóa khi chúng ta biết rằng bất kỳ sự khác biệt nào cũng phải do cơ hội ?

Một bài kiểm tra giả thuyết sẽ là vô nghĩa, nhưng một bài kiểm tra quan trọng có thể hữu ích.

Bài kiểm tra giả thuyết sẽ kiểm tra một giả thuyết khống đã được biết là đúng, vì câu hỏi của bạn rất rõ ràng. Thật ngớ ngẩn khi áp dụng một bài kiểm tra thống kê cho bất kỳ giả thuyết nào có giá trị thật đã được biết đến thông qua thông tin hoàn toàn đáng tin cậy.

Một bài kiểm tra quan trọng cung cấp một giá trị P, một lần nữa như bạn đã nói, chỉ ra xác suất nhận được dữ liệu là cực trị hoặc cực đoan hơn với giả thuyết khống. Tuy nhiên, đối với tôi, giá trị P như vậy có thể được hiểu theo cách tương đương với câu trả lời cho câu hỏi "Tôi có thể thường xuyên thấy sự khác biệt về giá trị cơ bản lớn như lần này hoặc lớn hơn không?" Câu trả lời có thể hữu ích ngay cả khi nó không rõ ràng cho mục đích gì.