Bạn có thể tái tạo kết quả kiểm tra chi bình phương này?

Tại Skeptics.StackExchange , một câu trả lời trích dẫn một nghiên cứu về quá mẫn điện từ:

• McCarty, Carrubba, Chesson, Frilot, Gonzalez-Toledo & Marino, Mẫn cảm điện từ: Bằng chứng cho một Hội chứng thần kinh học mới lạ Tạp chí quốc tế về thần kinh học, 00, 1, 7, 2011, DOI: 10.3109 / 00207454.2011.608139.

Tôi nghi ngờ về một số số liệu thống kê được sử dụng, và sẽ đánh giá cao một số chuyên môn trong việc kiểm tra hai lần rằng chúng được sử dụng một cách thích hợp.

Hình 5a cho thấy kết quả của một đối tượng đang cố gắng phát hiện khi máy phát điện từ trường được bật.

Đây là một phiên bản đơn giản hóa:

 Actual:   Yes  No
Detected:
  Yes       32  19
  No       261 274

Họ tuyên bố đã sử dụng một bài kiểm tra chi bình phương và thấy có ý nghĩa (p <0,05, mà không nêu rõ p là gì.)

Tần số của các phản ứng soma và hành vi trong sự hiện diện và vắng mặt của trường được đánh giá bằng phép thử chi bình phương (bảng 2 × 2) hoặc phần mở rộng Freeman xông Halton của bài kiểm tra xác suất chính xác của Fisher (bảng 2 × 3; Freeman & Halton, 1951).

Tôi thấy một số vấn đề.

• Họ đã loại trừ một số dữ liệu - xem Bảng 5b - nơi họ đã tắt thiết bị trong thời gian dài. Tôi không thể thấy sự biện minh trong việc tách dữ liệu đó.

• Họ dường như tuyên bố kết quả có ý nghĩa thống kê khi thiết bị thực sự được bật, nhưng không phải khi nó không hoạt động. (Tôi có thể đang đọc sai điều này; nó không rõ ràng.) Đó không phải là kết quả mà bài kiểm tra chi bình phương có thể đưa ra, phải không?

• Khi tôi cố gắng sao chép bài kiểm tra này bằng một máy tính trực tuyến, tôi đã thấy nó không có ý nghĩa thống kê.

Đây là câu hỏi thực sự của tôi: Tôi có đúng không khi nói điều này?: Một bài kiểm tra hai chi, bình phương sử dụng Kiểm tra chính xác của Fisher là cách đúng để phân tích dữ liệu này VÀ nó KHÔNG có ý nghĩa thống kê.

Dường như với tôi có ba điều sai với kết luận.

Đầu tiên, như @caracal nói: Họ đang báo cáo "tầm quan trọng" bằng cách sử dụng thử nghiệm một đầu, mà không nói rằng họ đang làm như vậy. Hầu hết mọi người, tôi nghĩ, khuyên bạn nên sử dụng các bài kiểm tra hai đuôi hầu như luôn luôn. Chắc chắn sẽ không ổn khi sử dụng thử nghiệm một đuôi mà không nói như vậy.

Thứ hai, hiệu quả rất nhỏ. Khi có tín hiệu, đối tượng (chỉ có một) phát hiện ra nó 11% thời gian (32/293). Khi không có tín hiệu, cô phát hiện tín hiệu 6,5% thời gian. Sự khác biệt đó có vẻ khá nhỏ. Và đối tượng không thể phát hiện tín hiệu 89%!

Thứ ba, như @oddthinking đã chỉ ra, có một số báo cáo dữ liệu chọn lọc không được giải thích hoặc chứng minh chính xác (tôi đã không đọc kỹ bài báo, vì vậy chỉ đơn giản là lặp lại những gì trong bài viết gốc).

Một thử nghiệm chính xác của Fisher trên bảng đã cho, theo mã này

actual <- c(rep("Y", 32), rep("N", 19), rep("Y", 261), rep("N", 274))
det <- c(rep("Y", 51), rep("N", 535))
table(det,actual) 
fisher.test(det,actual)

ap = 0,08