Những ví dụ về các biến ẩn trong các thí nghiệm được kiểm soát có trong các ấn phẩm?

Trên trang giấy này:

Các biến ẩn giấu: Một số ví dụ Brian L. Joiner The American Statistician Vol. 35, số 4, ngày 11 tháng 11 năm 1981 227-233

Brian Joiner tuyên bố rằng "ngẫu nhiên không phải là thuốc chữa bách bệnh". Điều này trái với các tuyên bố phổ biến như câu dưới đây:

Một thử nghiệm được thiết kế tốt bao gồm các tính năng thiết kế cho phép các nhà nghiên cứu loại bỏ các biến ngoại lai như một lời giải thích cho mối quan hệ được quan sát giữa (các) biến độc lập và biến phụ thuộc. Các biến ngoại lai này được gọi là các biến ẩn.

Câu trích dẫn được lấy từ câu hỏi này và không có nguồn nhưng theo kinh nghiệm của tôi, nó là đại diện cho thái độ phổ biến: Ví dụ về quan sát biến đổi và ảnh hưởng của Lurking

Một ví dụ được đưa ra là khi kiểm tra độ an toàn (cụ thể là gây ung thư) của thuốc nhuộm thực phẩm # 40 màu đỏ đối với loài gặm nhấm trong những năm bảy mươi, người ta đã tìm thấy một hiệu ứng của vị trí lồng để làm rối loạn nghiên cứu. Bây giờ tôi đã đọc nhiều bài báo nghiên cứu về chất gây ung thư ở loài gặm nhấm và chưa bao giờ thấy ai báo cáo kiểm soát hiệu ứng này.

Thảo luận thêm về các nghiên cứu này có thể được tìm thấy ở đây: Một nghiên cứu trường hợp thống kê trong quy trình quy định: thí nghiệm số 40 của FD & C.

Tôi không thể tìm thấy phiên bản không trả tiền nhưng đây là đoạn trích:

Tại cuộc họp tháng 1, chúng tôi đã trình bày một phân tích sơ bộ (14) cho thấy mối tương quan mạnh mẽ giữa hàng lồng và tỷ lệ tử vong RE (khối u nội mô-reticulo), thay đổi từ 17% (hàng dưới) đến 32% (hàng trên cùng) (bảng trên cùng) 2). Chúng tôi không thể giải thích mối liên hệ mạnh mẽ này theo giới tính, nhóm liều lượng, hoặc cột giá hoặc vị trí. Một phân tích tiếp theo (18) cũng chỉ ra rằng vị trí lồng (trước so với sau) có thể tương quan với tỷ lệ tử vong không phải RE và vị trí đó có tương quan với thời gian tử vong không RE.

Tôi đặc biệt quan tâm đến việc tại sao dường như có một vấn đề như vậy với sự sao chép trong tài liệu y khoa, nhưng các ví dụ từ tất cả các lĩnh vực sẽ được hoan nghênh. Lưu ý rằng tôi quan tâm đến các ví dụ từ các thí nghiệm ngẫu nhiên có kiểm soát, không phải nghiên cứu quan sát.

Một vài ví dụ từ nghiên cứu lâm sàng có thể là các biến phát sinh sau khi ngẫu nhiên hóa - ngẫu nhiên không bảo vệ bạn khỏi những điều đó. Một vài cái trên đỉnh đầu của tôi, đã được nêu ra như là một trong những khả năng hoặc được ghi nhận:

• Thay đổi hành vi sau cắt bao quy đầu ở nam giới tự nguyện để phòng ngừa HIV
• Mất khác biệt để theo dõi giữa điều trị và kiểm soát RCT
• Một ví dụ cụ thể hơn có thể bao gồm nghiên cứu "Lợi ích của áo choàng và phổ cập" gần đây về việc ngăn ngừa nhiễm trùng bệnh viện ( bình luận blog ở đây , bài báo đứng sau một bức tường). Ngoài sự can thiệp, và có khả năng vì nó, cả tỷ lệ vệ sinh tay và tỷ lệ liên lạc giữa bệnh nhân và nhân viên / khách đến thăm đều thay đổi.

Ngẫu nhiên bảo vệ chống lại không có hiệu ứng nào, bởi vì chúng phát sinh sau ngẫu nhiên.

Đây là một ví dụ tôi tìm thấy cho dữ liệu microarray. Biểu thức đo được báo cáo là có tương quan mạnh với vị trí trên "chip". Đây là trường hợp ngẫu nhiên vị trí của các mẫu có thể dẫn đến tăng khả năng mắc lỗi ghi nhãn, vì vậy những người làm công việc kỹ thuật có thể chọn không chọn ngẫu nhiên nếu họ cho rằng điều đó không quan trọng.

Việc chỉ định ngẫu nhiên các đơn vị thử nghiệm cho các phương pháp điều trị kiểm soát khả năng bất kỳ yếu tố nào khác ngoài việc điều trị là nguyên nhân của mối liên hệ (1,2). Trong một số nền tảng microarray như Illumina® và NimbleGenTM, nhiều mẫu sinh học có thể được lai với một chip đơn. Hiệu ứng vị trí chip và mẫu có thể ảnh hưởng đến độ chính xác và độ tái lập của các thí nghiệm microarray trừ khi cân bằng và ngẫu nhiên được xem xét trong thiết kế thử nghiệm (4). Mục đích của chúng tôi là so sánh tác động của những hiệu ứng này trong một thí nghiệm bị nhầm lẫn và ngẫu nhiên.

Tầm quan trọng của tính ngẫu nhiên trong các thiết kế thử nghiệm của Microarray với các nền tảng Illumina

Ricardo A. Verdugo, Christian F. Deschepper và Gary A. Churchill. Phòng thí nghiệm Jackson, Bar Harbor, ME 04609, Viện nghiên cứu Recherches, Montreal, QC, Canada.

Tôi có một ví dụ có thể hơi khác so với những gì bạn dự định ban đầu khi bạn hỏi câu hỏi này. Một hoặc hai năm qua đã làm nảy sinh một cuộc thảo luận đang diễn ra trong tâm lý học về nguyên nhân của việc thiếu khả năng nhân rộng các hiệu ứng từ các thí nghiệm ngẫu nhiên. Các phiên bản của cuộc tranh luận này đã nổi lên trong nhiều năm, nhưng cuộc tranh luận đã trở nên gay gắt hơn kể từ khi xuất bản một bài báo cho thấy nhiều thực tiễn là tiêu chuẩn trong tâm lý học trong việc đưa ra các giả thuyết, thu thập dữ liệu, phân tích dữ liệu và báo cáo kết quả cho phép các nhà nghiên cứu tìm ra kết quả hỗ trợ các giả thuyết được lựa chọn một cách tùy tiện (trong bài báo gốc, các nhà nghiên cứu đã sử dụng các thực tiễn này để cho thấy rằng việc nghe "Khi tôi sáu mươi bốn" của The Beatles khiến mọi người trẻ hơn).

Tất nhiên, gốc rễ của vấn đề là các cấu trúc khuyến khích lan tỏa trong tâm lý học (và trong các ngành khoa học khác) để thu được kết quả mới, tích cực, "có thể xuất bản". Những khuyến khích này khuyến khích các nhà khoa học nghiên cứu áp dụng các thực tiễn, mặc dù không rõ ràng là "sai" như chế tạo dữ liệu, dù sao cũng dẫn đến tăng tỷ lệ kết quả dương tính giả. Những thực hành này bao gồm:

1. Bộ sưu tập của nhiều biến phụ thuộc và rất giống nhau. Chỉ có biến phụ thuộc tạo ra kết quả phù hợp nhất với giả thuyết ban đầu được báo cáo.
2. Trong quá trình thu thập dữ liệu, kiểm tra các kết quả quan trọng nhiều lần và dừng thu thập dữ liệu khi có ý nghĩa.
3. Trong quá trình phân tích, việc đưa nhiều hiệp phương sai vào mô hình thống kê. Trong bài báo cuối cùng, chỉ có sự kết hợp của hiệp phương sai dẫn đến kết quả phù hợp nhất với giả thuyết ban đầu được báo cáo.
4. Bỏ các điều kiện dẫn đến kết quả không phù hợp với các hyptohes ban đầu và không báo cáo các điều kiện này trong bài báo.

Và như thế.

Tôi sẽ lập luận rằng "biến ẩn" trong các trường hợp này là cấu trúc khuyến khích thưởng cho các nhà nghiên cứu để có được kết quả tích cực, "có thể xuất bản". Trong thực tế, có đã được nhiều cấu hình cao kết quả về tâm lý học (trong đó có nhiều chuyên ngành của tôi, tâm lý xã hội) đã thất bại trong việc lặp lại. Những thất bại để nhân rộng, nhiều người tranh luận, đặt ra nghi ngờ trên toàn bộ các lĩnh vực tâm lý học.

Tất nhiên, vấn đề cấu trúc khuyến khích khuyến khích dương tính giả không phải là duy nhất đối với tâm lý học; đây là một vấn đề đặc hữu đối với tất cả các ngành khoa học, và do đó cho tất cả các thử nghiệm ngẫu nhiên có kiểm soát.

Người giới thiệu

Simmons, JP, Nelson, LD, & Simonsohn, Hoa Kỳ (2011). Tâm lý dương tính giả: Tính linh hoạt không được tiết lộ trong thu thập và phân tích dữ liệu cho phép trình bày bất cứ điều gì quan trọng. Khoa học tâm lý , 17, 1359-1366.

Mũi, BA, Điệp viên, JR, & Motyl, M. (2012). Khoa học không tưởng: II. Tái cơ cấu các khuyến khích và thực tiễn để thúc đẩy sự thật về khả năng xuất bản. Quan điểm về khoa học tâm lý , 7, 615-631.

Yong, E. (2012). Bản sao xấu. Thiên nhiên , 485, 298-300.

Abbott, A. (2013). Tranh chấp kết quả một cú đánh mới cho tâm lý xã hội. Thiên nhiên , 497, 16.