Nhà nghiên cứu 1 chạy 1000 hồi quy, nhà nghiên cứu 2 chỉ chạy 1, cả hai đều có kết quả giống nhau - họ có nên suy luận khác nhau không?

Hãy tưởng tượng một nhà nghiên cứu đang khám phá một bộ dữ liệu và chạy 1000 hồi quy khác nhau và anh ta tìm thấy một mối quan hệ thú vị giữa chúng.

Bây giờ hãy tưởng tượng một nhà nghiên cứu khác có cùng dữ liệu chỉ chạy 1 hồi quy, và hóa ra đó là cùng một dữ liệu mà nhà nghiên cứu khác đã lấy 1000 hồi quy để tìm. Nhà nghiên cứu 2 không biết nhà nghiên cứu 1.

Nhà nghiên cứu 1 có nên suy luận khác với nhà nghiên cứu 2 không? Tại sao? Chẳng hạn, nhà nghiên cứu 1 có nên thực hiện nhiều phép so sánh, nhưng nhà nghiên cứu 2 có nên không?

Nếu nhà nghiên cứu 2 cho bạn thấy hồi quy đơn trước tiên, bạn sẽ suy luận gì? Nếu sau khi nhà nghiên cứu 1 cho bạn thấy kết quả của mình, bạn có nên thay đổi suy luận của mình không? Nếu vậy, tại sao nó quan trọng?

PS 1 : Nếu nói về các nhà nghiên cứu giả thuyết làm cho vấn đề trở nên trừu tượng, hãy nghĩ về điều này: hãy tưởng tượng bạn chỉ chạy một hồi quy cho bài báo của mình, sử dụng phương pháp tốt nhất hiện có. Sau đó, một nhà nghiên cứu khác đã khám phá 1000 hồi quy khác nhau với cùng một dữ liệu, cho đến khi anh ta tìm thấy chính xác hồi quy mà bạn đã chạy . Hai bạn có nên suy luận khác nhau? Là bằng chứng giống nhau cho cả hai trường hợp hay không? Bạn có nên thay đổi suy luận của bạn nếu bạn biết kết quả nghiên cứu khác? Công chúng nên đánh giá bằng chứng của hai nghiên cứu như thế nào?

PS 2: vui lòng cố gắng cụ thể và cung cấp một lý lẽ toán học / lý thuyết, nếu có thể!

Đây là "Bayesian" của tôi nghiêng về câu hỏi của bạn. Tôi nghĩ rằng bạn đã mô tả một tình huống trong đó hai người có thông tin trước khác nhau sẽ nhận được câu trả lời / kết luận khác nhau khi được cung cấp cùng một bộ dữ liệu. Một ví dụ cùn / cực đoan hơn là giả sử rằng chúng ta có một "nhà nghiên cứu 1b", người chỉ tình cờ đoán được các tham số mô hình hồi quy và kết luận từ bất kỳ giả thuyết nào. Chạy hồi quy không phải là quá xa vời để đoán.$1000$

Những gì tôi nghĩ đang xảy ra ... chúng ta học được gì về thông tin trước của các nhà nghiên cứu từ câu hỏi trên? - nhà nghiên cứu 1 có thể có căn hộ trước cho các mô hình - nhà nghiên cứu 2 có sự nhạy bén trước mô hình quan tâmP(M1|I2)=1(giả sửM1là mô hình mà cả hai đều phù hợp)$P (M_k|I_1)=\frac {1}{1000}$$P (M_1|I_2) =1$$M_1$

Đây rõ ràng là một sự đơn giản hóa, nhưng bạn có thể thấy ở đây, chúng tôi đã đặt nặng hơn rất nhiều vào các suy luận của nhà nghiên cứu 2 mà không có bất kỳ dữ liệu nào. Nhưng bạn thấy đấy, một khi họ cả hai tài khoản mất các dữ liệu, nghiên cứu 1 của xác suất hậu nghiệm cho sẽ tăng lên ... P ( M 1 | D tôi ) > > P ( M 1 | Tôi ) (... chúng ta biết vì đây nó "tốt hơn" so với 999 mẫu khác ...). Hậu thế của nhà nghiên cứu 2 không thể tập trung được nữa, nó đã bằng 1 . Những gì chúng ta không biết là bao nhiêu dữ liệu hỗ trợ $M_1$$P (M_1|DI)>>P (M_1|I)$$999$$1$$M_1$$1000$$1000$$0$$p-value <10^{-8}$

Bạn cũng không nói bộ dữ liệu lớn như thế nào và vấn đề này! Nếu bạn đang nói về một tập dữ liệu với quan sát và 10 biến số / dự đoán / biến độc lập, thì nhà nghiên cứu 1 có thể vẫn sẽ không chắc chắn về mô hình. Tuy nhiên, nếu nhà nghiên cứu 1 đang sử dụng 2 , 000 , 000 quan sát, điều này có thể kết luận xác định mô hình.$100$$10$$2,000,000$

Không có gì sai về cơ bản với hai người bắt đầu với thông tin khác nhau và tiếp tục có kết luận khác nhau sau khi xem cùng một dữ liệu. Tuy nhiên ... việc nhìn thấy cùng một dữ liệu sẽ mang chúng lại gần nhau hơn, với điều kiện là "không gian mô hình" chồng chéo và dữ liệu hỗ trợ "vùng chồng lấp" này.

Việc giải thích thống kê ít rõ ràng hơn nhiều so với những gì bạn đang yêu cầu, việc xử lý toán học.

Toán học là về các vấn đề được xác định rõ ràng. Ví dụ, gieo một con xúc xắc hoàn hảo, hoặc vẽ những quả bóng từ một chiếc bình.

Thống kê là toán học ứng dụng trong đó toán học cung cấp một hướng dẫn nhưng không phải là giải pháp (chính xác).

Trong trường hợp này rõ ràng là hoàn cảnh đóng một vai trò quan trọng. Nếu chúng ta thực hiện hồi quy và sau đó tính toán (toán học) một số giá trị p để biểu thị sức mạnh thì diễn giải (thống kê) và giá trị của giá trị p là gì?

• Trong trường hợp 1000 hồi quy được thực hiện bởi nhà nghiên cứu 1 , kết quả sẽ yếu hơn rất nhiều vì loại tình huống này xảy ra khi chúng ta không thực sự có đầu mối và chỉ đang khám phá dữ liệu. Giá trị p chỉ là một dấu hiệu cho thấy có thể có một cái gì đó.

  Vì vậy, giá trị p rõ ràng là ít giá trị hơn trong hồi quy được thực hiện bởi nhà nghiên cứu 1. Và nếu nhà nghiên cứu 1 hoặc ai đó sử dụng kết quả của nhà nghiên cứu 1 muốn làm điều gì đó với hồi quy thì giá trị p cần phải được sửa. (và nếu bạn nghĩ rằng sự khác biệt giữa nhà nghiên cứu 1 và nhà nghiên cứu 2 là không đủ, chỉ cần nghĩ về vô số cách mà nhà nghiên cứu 1 có thể sửa giá trị p cho nhiều so sánh)

• Trong trường hợp hồi quy đơn được thực hiện bởi nhà nghiên cứu 2 , kết quả là bằng chứng mạnh mẽ hơn nhiều. Nhưng đó là vì hồi quy không tự đứng vững. Chúng ta phải bao gồm các lý do tại sao nhà nghiên cứu 2 chỉ thực hiện một hồi quy duy nhất. Điều này có thể là do anh ta có những lý do chính đáng (bổ sung) để tin rằng hồi quy đơn là một mô hình tốt cho dữ liệu.

• Cài đặt hồi quy được thực hiện bởi nhà nghiên cứu 1 và 2 khác nhau rất nhiều và không thường xuyên bạn gặp cả hai cùng một lúc cho cùng một vấn đề. Nếu đây là trường hợp thì

  • nhà nghiên cứu 2 đã rất may mắn

    Điều này không phải là quá phổ biến, và chúng ta nên sửa lỗi này tốt hơn khi giải thích văn học, cũng như chúng ta nên cải thiện việc xuất bản toàn bộ bức tranh nghiên cứu. Nếu có một ngàn nhà nghiên cứu như nhà nghiên cứu 2, và chúng ta sẽ chỉ thấy một trong số họ công bố thành công, thì vì chúng ta đã không thấy những thất bại của 999 nhà nghiên cứu khác, chúng ta có thể lầm tưởng rằng chúng ta không có trường hợp như nhà nghiên cứu 1

  • nhà nghiên cứu 1 không thông minh lắm và đã thực hiện một cuộc tìm kiếm cực kỳ thừa cho một số hồi quy trong khi anh ta có thể đã biết ngay từ đầu rằng nó phải là một người duy nhất, và anh ta có thể thực hiện một bài kiểm tra mạnh mẽ hơn.

    Đối với những người bên ngoài thông minh hơn nhà nghiên cứu 1 (không quan tâm đến 999 hồi quy bổ sung từ đầu) và đọc về công việc, họ có thể cung cấp thêm sức mạnh cho tầm quan trọng của kết quả, tuy nhiên vẫn không mạnh như anh ta làm kết quả của nhà nghiên cứu 2.

    Mặc dù nhà nghiên cứu 1 có thể đã quá bảo thủ khi sửa chữa cho 999 hồi quy bổ sung thừa, chúng ta không thể bỏ qua thực tế rằng nghiên cứu được thực hiện trong một khoảng trống kiến ​​thức và nhiều khả năng tìm thấy một nhà nghiên cứu may mắn loại 1 hơn loại 2.

Một câu chuyện liên quan thú vị: Trong thiên văn học, khi họ đang lên kế hoạch cho một công cụ tốt hơn để đo nền vũ trụ với độ chính xác cao hơn, có những nhà nghiên cứu cho rằng chỉ giải phóng một nửa dữ liệu. Điều này bởi vì chỉ có một shot để thu thập dữ liệu. Một khi tất cả các hồi quy đã được thực hiện bởi hàng chục nhà nghiên cứu khác nhau (và vì sự biến đổi và sáng tạo đáng kinh ngạc của nhà lý thuyết, chắc chắn có một số phù hợp với mọi dữ liệu có thể, ngẫu nhiên, có thể thực hiện được thử nghiệm mới để xác minh (nghĩa là, trừ khi bạn có thể tạo ra một vũ trụ hoàn toàn mới).

Câu chuyện ngắn: chúng tôi không có đủ thông tin để trả lời câu hỏi của bạn vì chúng tôi không biết gì về các phương pháp được sử dụng hoặc dữ liệu được thu thập.

Câu trả lời dài ... Câu hỏi thực sự ở đây là liệu mỗi nhà nghiên cứu đang làm gì:

• khoa học nghiêm ngặt
• giả khoa học nghiêm ngặt
• thăm dò dữ liệu
• nạo vét dữ liệu hoặc hack p

Phương pháp của họ sẽ xác định sức mạnh của việc giải thích kết quả của họ. Điều này là do một số phương pháp ít âm thanh hơn các phương pháp khác.

Trong khoa học nghiêm ngặt, chúng tôi phát triển một giả thuyết, xác định các biến gây nhiễu, phát triển các điều khiển cho các biến ngoài giả thuyết của chúng tôi, lập kế hoạch phương pháp kiểm tra, lập kế hoạch phương pháp phân tích, thực hiện kiểm tra / thu thập dữ liệu và sau đó phân tích dữ liệu. (Lưu ý rằng các phương pháp phân tích được lên kế hoạch trước khi thử nghiệm xảy ra). Đây là nghiêm ngặt nhất vì chúng ta phải chấp nhận dữ liệu và phân tích không phù hợp với giả thuyết. Không thể chấp nhận thay đổi phương pháp sau khi thực tế để có được điều gì đó thú vị. Bất kỳ giả thuyết mới từ các phát hiện phải trải qua quá trình tương tự một lần nữa.

Trong giả khoa học, chúng tôi thường lấy dữ liệu đã được thu thập. Điều này khó sử dụng hơn về mặt đạo đức bởi vì việc thêm các thành kiến ​​vào kết quả sẽ dễ dàng hơn. Tuy nhiên, vẫn có thể làm theo phương pháp khoa học cho các nhà phân tích đạo đức. Có thể khó thiết lập các điều khiển thích hợp mặc dù và điều đó cần được nghiên cứu và lưu ý.

Khám phá dữ liệu không dựa trên khoa học. Không có giả thuyết cụ thể. Không có đánh giá tiên nghiệm về các yếu tố gây nhiễu. Ngoài ra, rất khó để quay lại và thực hiện lại phân tích bằng cùng một dữ liệu, vì các kết quả có thể bị làm mờ bởi kiến ​​thức hoặc mô hình hóa trước đó và không có dữ liệu mới để sử dụng để xác thực. Một thí nghiệm khoa học nghiêm ngặt được khuyến nghị để làm rõ các mối quan hệ có thể tìm thấy từ phân tích thăm dò.

Nạo vét dữ liệu hoặc hack P là nơi mà một nhà phân tích của YouTube thực hiện nhiều thử nghiệm với hy vọng có câu trả lời bất ngờ hoặc không xác định hoặc thao túng dữ liệu để có kết quả. Các kết quả có thể là sự trùng hợp đơn giản, có thể là kết quả của (các) biến gây nhiễu hoặc có thể không có kích thước hiệu ứng hoặc sức mạnh có ý nghĩa.

Có một số biện pháp khắc phục cho từng vấn đề, nhưng những biện pháp đó phải được đánh giá cẩn thận.