Vấn đề với kiểm tra sau hoc là gì?

Giáo sư thống kê của tôi nói như vậy, tất cả những cuốn sách mà tôi nhìn vào đều nói rằng: kiểm tra sau đại học là không khoa học. Bạn phải rút ra một giả thuyết từ lý thuyết trước, sau đó thu thập dữ liệu và phân tích nó.

Nhưng tôi thực sự không hiểu vấn đề là gì.

Giả sử, tôi thấy các số liệu bán hàng cho các màu xe khác nhau và hình thành giả thuyết rằng từ số lượng xe màu khác nhau đã bán nhóm xe lớn nhất trên đường phố có màu trắng. Vì vậy, tôi ngồi ở một số đường phố một ngày và lưu ý tất cả màu sắc của tất cả những chiếc xe đi qua tôi. Sau đó, tôi làm một số bài kiểm tra và tìm thấy bất cứ điều gì.

Bây giờ, giả sử tôi đã chán và ngồi ở một số đường phố một ngày và ghi nhận tất cả màu sắc của tất cả những chiếc xe đi qua tôi. Vì tôi thích đồ thị, tôi vẽ một biểu đồ đẹp và thấy rằng những chiếc xe màu trắng tạo thành nhóm lớn nhất. Vì vậy, tôi nghĩ rằng có lẽ hầu hết các xe trên đường phố đều màu trắng và thực hiện một số thử nghiệm.

Làm thế nào và tại sao các kết quả hoặc việc giải thích các kết quả của bài kiểm tra sau hoc khác với các bài kiểm tra giả thuyết dựa trên lý thuyết?

_{* Dù sao thì cái tên đối lập với bài kiểm tra hậu hoc là gì?}

Tôi muốn nói thêm rằng hầu hết kiến ​​thức của chúng ta về vũ trụ (Trái đất di chuyển quanh Mặt trời) được suy luận sau khi quan sát.

Đối với tôi, dường như trong vật lý, việc cho rằng không phải ngẫu nhiên mà mặt trời mọc ở phương Đông trong một nghìn năm qua là hoàn toàn ổn .

"Bạn biết đấy, điều tuyệt vời nhất đã xảy ra với tôi tối nay. Tôi đang đến đây, trên đường đến giảng đường, và tôi đã đi qua bãi đậu xe. Và bạn sẽ không tin những gì đã xảy ra. Tôi thấy một chiếc xe có giấy phép tấm ARW 357. Bạn có thể tưởng tượng không? Trong tất cả hàng triệu biển số xe trong tiểu bang, cơ hội mà tôi sẽ thấy cái đó đặc biệt tối nay là gì? Thật tuyệt vời! " Richard Feynman

Tôi cảm thấy rằng tôi không ở vị trí để giải thích các khía cạnh kỹ thuật sâu sắc của vấn đề này. Tuy nhiên tôi nghĩ rằng nhiều trong số chúng có thể được giảm xuống thành một trực giác.

Trong lần đầu tiên thiết lập, bạn bắt đầu với một số giả thuyết mà bạn xác minh trên dữ liệu mới (từ thử nghiệm được thiết kế). Nghiên cứu các số liệu bán hàng có thể đưa bạn đến một thử nghiệm được thiết kế rất khéo léo, nơi bạn thực sự có thể quyết định câu trả lời của mình mạnh đến mức nào (sức mạnh thống kê, giá trị p, kích thước mẫu và nhiều thứ khác).

Trong phần thứ hai, trước hết là bạn không quyết định gì về sức mạnh của câu trả lời. Đây là một vấn đề. Vấn đề thứ hai là việc trích xuất giả thuyết từ cùng một mẫu được sử dụng cho các thử nghiệm, sẽ tăng theo cách rất không kiểm soát được cơ hội mà các mẫu ngẫu nhiên được hiểu là thông tin có giá trị. Những gì bạn làm là để ý một cái gì đó (những chiếc xe màu trắng đang có số lượng lớn) và tự hỏi nếu điều này là đáng kể. Vấn đề là bạn chỉ chọn một thực tế đáng chú ý có thể nhìn thấy trên mẫu đó, loại bỏ các giả thuyết khác. Làm điều đó bạn đã tạo điều kiện thuận lợi cho một số giả thuyết, và bạn phá vỡ các giả định của hầu hết các bài kiểm tra thống kê apriori.

Sẽ không khoa học khi hành xử như bạn không biết về rò rỉ này và giả vờ rằng đó là một thử nghiệm với tất cả các giả định của nó, khi nó không đúng. Trong trường hợp này, khoa học là sử dụng phân tích bài hoc để hình thành một giả thuyết và thiết kế một thí nghiệm hoàn toàn mới để kiểm tra nó.

Nếu trước tiên bạn thu thập dữ liệu và sau đó xây dựng một lý thuyết dựa trên dữ liệu, bạn có nguy cơ phù hợp với một câu chuyện theo quan sát của bạn. Vấn đề là con người chúng ta cực kỳ giỏi viết truyện. Nói cách khác: bất kỳ dữ liệu nào cũng có thể được "giải thích" bằng một câu chuyện, nếu câu chuyện chỉ đủ phức tạp.

Quá trình này cung cấp cho giai thoại tốt đẹp. Tuy nhiên, không có lý do tại sao nó nên giải thích thực tế và / hoặc cung cấp dự đoán tốt. Bạn cần thiết lập và xác nhận mô hình cho điều đó.

xkcd lưu ý rằng hiện tượng này tràn ngập "bình luận" thể thao :

Liên quan là hiện tượng của pareidolia : nhìn thấy các mẫu không tồn tại. Xem, ví dụ, những người "Mặt" nhìn thấy trong hình ảnh vệ tinh trước đây của Sao Hỏa:

Ngoài ra, khi bạn thu thập nhiều dữ liệu hơn, bạn cần cẩn thận, bạn không điều chỉnh câu chuyện của mình theo những cách kỳ lạ hơn để khiến nó "tiếp tục" giải thích "những quan sát của bạn :

Khoa học vận hành bằng cách hình thành các giả thuyết (tất nhiên được thúc đẩy bởi kinh nghiệm), đưa ra dự đoán dựa trên các giả thuyết đó và sau đó kiểm tra chúng. Sẽ có ý nghĩa khi quan sát một cái gì đó trong quá khứ, khái quát hóa quan sát này thành một lý thuyết, nhưng sau đó coi chính quá khứ như một loại thí nghiệm hồi tố tự động xác nhận lý thuyết? Không, bởi vì toàn bộ câu hỏi là lý thuyết của bạn khái quát tốt như thế nào, chứ không phải nó có hoạt động một lần trong quá khứ hay không. Đây là lý do tại sao kiểm tra các giả thuyết được đề xuất bởi dữ liệu được coi là khoa học xấu.

Giáo sư của bạn và các câu trả lời khác là đúng rằng phân tích hậu hoc có vấn đề. Tuy nhiên, bạn cũng đúng rằng rất nhiều khoa học tốt đến từ phân tích hậu hoc. Điểm mấu chốt là các thí nghiệm được thiết kế phù hợp nên được ưu tiên và phân tích hậu hoc nên được xử lý thận trọng và với các công cụ đặc biệt để ngăn chặn các tạo tác giả bị mất bằng các khám phá thực tế. Bài viết Wikipedia về tỷ lệ phát hiện sai có thể cung cấp một cái nhìn sâu sắc về vấn đề.

Chỉ cần đưa ra một vài ví dụ:

• Nếu chúng ta thực hiện các biện pháp sinh trắc học trên toàn bộ gia súc trên toàn thế giới, chúng ta có thể kết luận rằng gia súc có hai lỗ mũi. Thực tế đó là một phân tích hậu hoc, nhưng hầu hết sinh học, núi lửa hoặc lịch sử đã được xây dựng theo cách này. Lý do chúng ta không bác bỏ thực tế là gia súc có hai lỗ mũi là bằng chứng ủng hộ việc nó quá sức.
• Chúng tôi lấy dữ liệu từ những con bê sinh năm trước trong một trang trại gia súc nhất định. Chúng tôi nhận thấy rằng vào mỗi thứ ba dưới trăng tròn, hơn 50% bê mới sinh là nữ - ngoại trừ các ngày lễ ở nước đó hoặc thứ ba mùa đông. Nếu trước đây chúng ta đã đưa ra giả thuyết rằng những ngày đó tạo ra nhiều con cái cái hơn, chúng ta có thể làm một bài kiểm tra giả thuyết và chấp nhận (hoặc bác bỏ) giả thuyết đó. Tuy nhiên, nếu chúng ta xem xét rằng đó chỉ là một phân tích hậu đại học, bằng chứng sẽ không đủ để từ chối một hiện tượng giả.

Có một bài viết thường được trích dẫn rằng mỉa mai bác bỏ tất cả bằng chứng về những chiếc dù là hữu ích như giai thoại - đó chỉ là một loại bằng chứng đặc biệt xấu dựa trên phân tích hậu hoc.

Và để sử dụng một ví dụ điển hình được sử dụng bởi câu trả lời của Stephan Kolassa: một vài điểm tối giống như khuôn mặt trên Sao Hỏa có thể bị từ chối như pareidolia, nhưng điều gì đó tái tạo Bữa ăn tối cuối cùng của Leonardo Da Vinci đến chi tiết nhỏ nhất không thể.

Nếu bạn không có một lý thuyết ủng hộ các đề xuất của mình, thì ngay cả khi đề xuất của bạn được xác thực, nó có thể thông qua sự trùng hợp và không chứng minh bất cứ điều gì. Ví dụ, tôi thấy rằng tôi làm bô khi mặt trời mọc và đã làm điều đó trong 10 năm qua - dựa trên dữ liệu này, một phân tích hậu đại học cho tôi biết rằng có một mối quan hệ giữa việc tôi làm bô và mặt trời mọc, trong khi những gì tồn tại chỉ là một sự trùng hợp Mặt trời không mọc vì bạn làm bô hay ngược lại.

Cuộc sống đầy những sự trùng hợp. Các đề xuất dựa trên lý thuyết loại bỏ các sự trùng hợp ngẫu nhiên hoặc các mối quan hệ giả.

Đây là một trực giác mà bạn có thể thấy hữu ích. Nếu bạn chán và đếm xe, bạn vẫn phải nhớ rằng những gì bạn thấy là kết quả của một quá trình ngẫu nhiên. Đặc biệt, những chiếc xe có thể có màu sắc khác nhau.

Do đó, nếu bạn hình thành giả thuyết rằng màu thường xuyên nhất là màu trắng, nếu có thể là vì nó thực sự nhưng cũng có thể là màu thường xuyên nhất là màu đỏ, nhưng trong thí nghiệm cụ thể đó, thường xuyên nhất là màu trắng (luôn luôn có thể ).

Bây giờ, nếu bạn làm hậu đại học , bạn sẽ kiểm tra màu trắng là thường xuyên nhất và, do dữ liệu cho rằng rất giả thuyết, bạn cũng có thể kết luận rằng màu trắng là thường xuyên nhất ... Ít nhất, dữ liệu sẽ không bao giờ mâu thuẫn giả thuyết (hậu hoc).