Khi nào giá trị p bị lừa?

Các điều kiện dữ liệu mà chúng ta nên đề phòng, trong đó giá trị p có thể không phải là cách tốt nhất để quyết định ý nghĩa thống kê? Có loại vấn đề cụ thể rơi vào thể loại này?

Bạn đang hỏi về việc nạo vét dữ liệu , đó là những gì xảy ra khi kiểm tra một số lượng lớn các giả thuyết đối với một tập dữ liệu hoặc kiểm tra các giả thuyết đối với một tập dữ liệu được đề xuất bởi cùng một dữ liệu.

Cụ thể, hãy kiểm tra nhiều nguy cơ giả thuyết và các giả thuyết Kiểm tra được đề xuất bởi dữ liệu .

Giải pháp là sử dụng một số loại hiệu chỉnh cho tỷ lệ phát hiện sai hoặc tỷ lệ lỗi Familywise , như phương pháp của Scheffé hoặc hiệu chỉnh Bonferroni (rất cũ) .

Theo một cách ít nghiêm ngặt hơn, có thể giúp lọc các khám phá của bạn theo khoảng tin cậy cho tỷ lệ chênh lệch (OR) cho mỗi kết quả thống kê. Nếu khoảng tin cậy 99% cho tỷ lệ chênh lệch là 10-12, thì OR là <= 1 với xác suất cực kỳ nhỏ, đặc biệt là nếu cỡ mẫu cũng lớn. Nếu bạn tìm thấy một cái gì đó như thế này, nó có thể là một hiệu ứng mạnh mẽ ngay cả khi nó được đưa ra từ một thử nghiệm của hàng triệu giả thuyết.

Bạn không nên xem xét giá trị p trong bối cảnh.

Một điểm khá cơ bản (như được minh họa bởi xkcd ) là bạn cần xem xét có bao nhiêu bài kiểm tra bạn thực sự đang làm. Rõ ràng, bạn không nên sốc khi thấy p <0,05 cho một trong số 20 bài kiểm tra, ngay cả khi giả thuyết null là đúng mỗi lần.

Một ví dụ tinh tế hơn về điều này xảy ra trong vật lý năng lượng cao, và được gọi là hiệu ứng nhìn ở nơi khác . Không gian tham số bạn tìm kiếm tín hiệu có thể đại diện cho hạt mới càng lớn, bạn càng có khả năng nhìn thấy tín hiệu rõ ràng thực sự chỉ do dao động ngẫu nhiên.

Một điều bạn nên chú ý là cỡ mẫu bạn đang sử dụng. Các mẫu rất lớn, chẳng hạn như các nhà kinh tế sử dụng dữ liệu điều tra dân số, sẽ dẫn đến giá trị p bị xì hơi. Bài viết này "Quá lớn để thất bại: Các mẫu lớn và vấn đề giá trị p" bao gồm một số vấn đề.