Ranh giới lỗi khôn ngoan của gia đình: Việc sử dụng lại bộ dữ liệu trên các nghiên cứu khác nhau về các câu hỏi độc lập có dẫn đến nhiều vấn đề kiểm tra không?

Nếu một nhóm các nhà nghiên cứu thực hiện nhiều thử nghiệm (giả thuyết) trên một tập dữ liệu nhất định, có một khối tài liệu khẳng định rằng họ nên sử dụng một số hình thức chỉnh sửa cho nhiều thử nghiệm (Bonferroni, v.v.), ngay cả khi các thử nghiệm độc lập. Câu hỏi của tôi là: logic này có áp dụng cho nhiều giả thuyết thử nghiệm trên cùng một tập dữ liệu không? Nói cách khác-- rào cản cho các tính toán lỗi khôn ngoan của gia đình là gì? Các nhà nghiên cứu có nên giới hạn trong việc sử dụng lại các bộ dữ liệu để thăm dò không?

Tôi không đồng ý mạnh mẽ với @fcoppens nhảy vọt từ việc nhận ra tầm quan trọng của việc sửa chữa nhiều giả thuyết trong một cuộc điều tra duy nhất để tuyên bố rằng "Theo cùng một lý do, cùng một lý do nếu một số nhóm thực hiện các thử nghiệm này."

Không có câu hỏi rằng càng có nhiều nghiên cứu được thực hiện và càng có nhiều giả thuyết được kiểm tra thì sẽ xảy ra nhiều lỗi loại I hơn. Nhưng tôi nghĩ rằng có một sự nhầm lẫn ở đây về ý nghĩa của tỷ lệ "lỗi gia đình khôn ngoan" và cách chúng áp dụng trong công việc khoa học thực tế.

Đầu tiên, hãy nhớ rằng việc hiệu chỉnh nhiều thử nghiệm thường xuất hiện trong các so sánh sau hoc mà không có giả thuyết được đưa ra trước. Không rõ ràng rằng các chỉnh sửa tương tự được yêu cầu khi có một nhóm nhỏ các giả thuyết được xác định trước.

Thứ hai, "sự thật khoa học" của một ấn phẩm riêng lẻ không phụ thuộc vào sự thật của từng tuyên bố riêng lẻ trong ấn phẩm. Một nghiên cứu được thiết kế tốt tiếp cận một giả thuyết khoa học tổng thể (trái ngược với thống kê) từ nhiều quan điểm khác nhau và kết hợp các loại kết quả khác nhau để đánh giá giả thuyết khoa học . Mỗi kết quả cá nhân có thể được đánh giá bằng một bài kiểm tra thống kê.

Tuy nhiên, theo lập luận từ @fcoppens, nếu ngay cả một trong những thử nghiệm thống kê riêng lẻ đó gây ra lỗi Loại I thì điều đó dẫn đến "niềm tin sai lệch về 'sự thật khoa học'". Điều này chỉ đơn giản là sai.

"Sự thật khoa học" của giả thuyết khoa học trong một ấn phẩm, trái ngược với tính hợp lệ của một thử nghiệm thống kê riêng lẻ, thường đến từ sự kết hợp của các loại bằng chứng khác nhau. Sự khăng khăng về nhiều loại bằng chứng làm cho tính hợp lệ của một giả thuyết khoa học trở nên mạnh mẽ đối với những sai lầm cá nhân chắc chắn xảy ra. Khi tôi nhìn lại 50 ấn phẩm khoa học của mình, tôi sẽ khó có thể tìm thấy bất kỳ thứ gì còn hoàn hảo đến từng chi tiết như @fcoppens dường như nhấn mạnh. Tuy nhiên, tôi rất khó để tìm thấy bất cứ nơi nào khoa họcgiả thuyết đã hoàn toàn sai. Không đầy đủ, có lẽ; chắc chắn không liên quan bởi những phát triển sau này trong lĩnh vực này, chắc chắn. Nhưng không "sai" trong bối cảnh tình trạng tri thức khoa học lúc bấy giờ.

Thứ ba, đối số bỏ qua các chi phí tạo ra lỗi Loại II. Một lỗi loại II có thể đóng cửa toàn bộ các lĩnh vực nghiên cứu khoa học đầy hứa hẹn. Nếu các khuyến nghị của @fcoppens được tuân thủ, tỷ lệ lỗi Loại II sẽ leo thang ồ ạt, gây bất lợi cho doanh nghiệp khoa học.

Cuối cùng, khuyến nghị là không thể làm theo trong thực tế. Nếu tôi phân tích một tập hợp dữ liệu có sẵn công khai, tôi có thể không có cách nào để biết liệu có ai khác đã sử dụng nó hay cho mục đích gì. Tôi không có cách nào để sửa cho các bài kiểm tra giả thuyết của bất kỳ ai khác. Và như tôi tranh luận ở trên, tôi không nên làm thế.

$\alpha=5\%$$H_0^{(1)}$$H_1^{(1)}$$H_0^{(2)}$$H_1^{(2)}$

$H_0^{(1)}$$\alpha=5\%$

$1 - (1-\alpha)^2$$\alpha=5\%$$9.75\%$

Trong thử nghiệm giả thuyết thống kê, người ta chỉ có thể tìm thấy bằng chứng thống kê cho giả thuyết thay thế bằng cách từ chối null, từ chối null cho phép chúng ta kết luận rằng có bằng chứng ủng hộ giả thuyết thay thế. (xem thêm Điều gì sau đây nếu chúng ta không từ chối giả thuyết null? ).

Vì vậy, một sự từ chối sai của null cho chúng ta bằng chứng sai lệch vì vậy một niềm tin sai lệch về '' sự thật khoa học ''. Đây là lý do tại sao lạm phát loại I này (gần gấp đôi lỗi loại I) phải tránh; lỗi loại I cao hơn hàm ý nhiều niềm tin sai lệch rằng một cái gì đó được chứng minh một cách khoa học . Do đó, mọi người '' kiểm soát '' loại Ierror ở cấp độ gia đình.

$5\%$

Theo cùng một lý do, cùng một trường hợp nếu một số nhóm thực hiện các thử nghiệm này (trên cùng một dữ liệu).

Rõ ràng, những phát hiện trên chỉ đúng nếu các nhóm chúng tôi làm việc trên cùng một dữ liệu . Điều gì là khác nhau sau đó khi họ làm việc trên các mẫu khác nhau?

$\sigma$$H_0: \mu = 0$$H_1: \mu \ne 0$$\alpha=5\%$

$o$$1.96\sigma$$-1.96\sigma$

$5\%$$H_0$$H_0$$\mu=0$$H_0$$o \not \in [-1.96\sigma;1.96\sigma$$H_0$

Vì vậy, nếu chúng tôi sử dụng cùng một dữ liệu, có thể kết luận của các bài kiểm tra dựa trên một mẫu được rút ra với "cơ hội xấu". Với một mẫu khác bối cảnh là khác nhau.