Khi nào thì câu cá của Fisher có được nhiều dữ liệu hơn Cách tiếp cận có ý nghĩa?

Trích dẫn câu trả lời tuyệt vời của gung

Bị cáo buộc, một nhà nghiên cứu đã từng tiếp cận với Fisher với kết quả 'không đáng kể', hỏi anh ta nên làm gì, và Fisher nói, 'hãy lấy thêm dữ liệu'.

Từ góc độ Neyman-Pearson, đây là trắng trợn -hacking, nhưng là có một trường hợp sử dụng nơi go-get-hơn-dữ liệu Fisher cách tiếp cận có ý nghĩa?$p$

Mô hình thường xuyên là sự kết hợp giữa quan điểm của Fisher và Neyman-Pearson. Chỉ khi sử dụng một cách tiếp cận và một cách giải thích khác mới phát sinh vấn đề.

Bất kỳ ai cũng có vẻ lạ khi thu thập nhiều dữ liệu là có vấn đề, vì càng nhiều dữ liệu càng có nhiều bằng chứng. Thật vậy, vấn đề không nằm ở việc thu thập thêm dữ liệu, mà là sử dụng giá trị $p$ để quyết định làm như vậy, khi đó cũng là thước đo quan tâm. Thu thập thêm dữ liệu dựa trên $p$ -giá trị chỉ $p$ -hacking nếu bạn tính toán một mới $p$ -giá trị.

Nếu bạn không đủ bằng chứng để đưa ra kết luận thỏa đáng về câu hỏi nghiên cứu, thì bằng mọi cách, hãy lấy thêm dữ liệu. Tuy nhiên, thừa nhận rằng bạn hiện đã qua giai đoạn NHST trong nghiên cứu của mình và thay vào đó tập trung vào việc định lượng hiệu quả của sự quan tâm.

Một lưu ý thú vị là người Bayes không gặp phải tình huống khó xử này. Hãy xem xét những điều sau đây là một ví dụ:

• Nếu một người thường xuyên kết luận không có sự khác biệt đáng kể và sau đó chuyển sang một thử nghiệm tương đương, chắc chắn tỷ lệ dương tính giả đã tăng lên;
• Một người Bayes có thể biểu thị khoảng mật độ cao nhất và vùng tương đương thực tế của sự khác biệt đồng thời và ngủ giống nhau vào ban đêm.

Với kích thước mẫu đủ lớn, một thử nghiệm sẽ luôn hiển thị kết quả quan trọng, trừ khi kích thước hiệu ứng thực sự chính xác bằng 0, như được thảo luận ở đây . Trong thực tế, kích thước hiệu ứng thực sự không phải là 0, do đó, việc thu thập nhiều dữ liệu hơn cuối cùng sẽ có thể phát hiện ra những khác biệt nhỏ nhất.

Câu trả lời thẳng thắn (IMO) từ Fisher là để trả lời cho một câu hỏi tương đối tầm thường rằng tại tiền đề của nó là "sự khác biệt đáng kể" với "sự khác biệt thực tế có liên quan".

Nó sẽ tương đương với một nhà nghiên cứu đến văn phòng của tôi và hỏi "Tôi đã cân trọng lượng chì này có nhãn '25 gram 'và nó đo được 25,0 gram. Tôi tin rằng nó bị dán nhãn sai, tôi phải làm gì?" Để tôi có thể trả lời, "Lấy một tỷ lệ chính xác hơn."

Tôi tin rằng phương pháp tiếp cận dữ liệu nhiều hơn là phù hợp nếu thử nghiệm ban đầu bị thiếu sức mạnh để phát hiện mức độ khác biệt có liên quan thực tế.

Cảm ơn. Có một vài điều cần lưu ý ở đây:

1. Các trích dẫn có thể là ngày tận thế.
2. Khá hợp lý để lấy thêm / dữ liệu tốt hơn hoặc dữ liệu từ một nguồn khác (thang đo chính xác hơn, nhận xét, câu trả lời của @ Underminer ; tình huống hoặc kiểm soát khác nhau, v.v.), cho một nghiên cứu thứ hai ( nhận xét của @ Glen_b ) . Nghĩa là, bạn sẽ không phân tích dữ liệu bổ sung kết hợp với dữ liệu gốc: giả sử bạn có N = 10 với kết quả không đáng kể, bạn có thể thu thập dữ liệu N = 20 khác và phân tích chúng một mình (không kiểm tra toàn bộ 30 cùng nhau ). Nếu trích dẫn không phải là ngày tận thế, thì đó có thể là điều mà Fisher nghĩ đến.
3. Triết lý khoa học của Fisher về cơ bản là Popperian . Đó là, null không nhất thiết phải từ chối một cách khéo léo để xác nhận lý thuyết của bạn, nhưng lý tưởng nhất có thể là lý thuyết của bạn, như vậy từ chối có nghĩa là lý thuyết thú cưng của bạn sai và bạn cần quay lại bảng vẽ. Trong trường hợp như vậy, lạm phát loại I sẽ không có lợi cho nhà nghiên cứu. (Mặt khác, cách giải thích này chống lại Fisher đưa ra lời khuyên này trừ khi anh ta là một người hay gây gổ, điều đó sẽ không nằm ngoài tính cách.)
4. Ở mức độ nào, đáng để chỉ ra rằng lý do tôi đưa ra nhận xét đó là nó minh họa một cái gì đó cơ bản về sự khác biệt về bản chất của hai cách tiếp cận.

Cái mà chúng tôi gọi là hack P đang áp dụng thử nghiệm ý nghĩa nhiều lần và chỉ báo cáo kết quả quan trọng. Cho dù điều này là tốt hay xấu là tùy thuộc vào tình huống.

Để giải thích, chúng ta hãy nghĩ về các hiệu ứng thực sự theo thuật ngữ Bayes, thay vì các giả thuyết không và thay thế. Miễn là chúng tôi tin rằng tác động của lợi ích của chúng tôi đến từ một phân phối liên tục, thì chúng tôi biết giả thuyết null là sai. Tuy nhiên, trong trường hợp thử nghiệm hai mặt, chúng tôi không biết liệu đó là dương tính hay âm tính. Dưới ánh sáng này, chúng ta có thể nghĩ về giá trị p cho các thử nghiệm hai mặt như một thước đo xem mức độ mạnh mẽ của bằng chứng là ước tính của chúng ta có hướng chính xác (nghĩa là hiệu ứng dương hay âm).

$p < \alpha$

Bây giờ, hãy xem xét những gì xảy ra khi bạn tiếp tục quay lại để lấy thêm dữ liệu. Mỗi khi bạn nhận được nhiều dữ liệu hơn, xác suất của bạn có được hướng chính xác có điều kiện trên dữ liệu đủ chỉ tăng lên. Vì vậy, trong kịch bản này, chúng ta nên nhận ra rằng bằng cách lấy thêm dữ liệu, mặc dù trên thực tế chúng ta đang tăng xác suất xảy ra lỗi loại I, chúng ta cũng đang giảm xác suất kết luận sai hướng.

Ngược lại, việc lạm dụng P-hack điển hình hơn; chúng tôi kiểm tra 100 kích thước hiệu ứng có xác suất rất nhỏ và chỉ báo cáo những kích thước quan trọng. Lưu ý rằng trong trường hợp này, nếu tất cả các hiệu ứng là nhỏ, chúng tôi có gần 50% cơ hội nhận sai hướng khi chúng tôi tuyên bố ý nghĩa.

Tất nhiên, giá trị p được tạo ra từ dữ liệu này - tăng gấp đôi vẫn phải đi kèm với một hạt muối. Mặc dù, nói chung, bạn không nên gặp vấn đề với những người thu thập nhiều dữ liệu để chắc chắn hơn về kích thước hiệu ứng, điều này có thể bị lạm dụng theo những cách khác. Ví dụ, một PI thông minh có thể nhận ra rằng thay vì thu thập tất cả 100 điểm dữ liệu cùng một lúc, họ có thể tiết kiệm một loạt tiền và tăng sức mạnh bằng cách trước tiên thu thập 50 điểm dữ liệu, phân tích dữ liệu và sau đó thu thập 50 điểm tiếp theo nếu không đáng kể . Trong kịch bản này, chúng làm tăng xác suất nhận được hướng của hiệu ứng sai điều kiện khi khai báo ý nghĩa, vì chúng có nhiều khả năng nhận được hướng của hiệu ứng sai với 50 điểm dữ liệu so với 100 điểm dữ liệu.

Và cuối cùng, hãy xem xét những tác động của việc không nhận được nhiều dữ liệu hơn khi chúng ta có một kết quả không đáng kể. Điều đó có nghĩa là không bao giờ thu thập thêm thông tin về chủ đề này, điều này sẽ không thực sự thúc đẩy khoa học tiến lên, phải không? Một nghiên cứu thiếu năng lực sẽ giết chết cả một lĩnh vực.

Nếu giải pháp thay thế có xác suất tiên nghiệm nhỏ , thì một thử nghiệm không từ chối null sẽ làm giảm thêm, làm cho bất kỳ nghiên cứu nào khác thậm chí ít hiệu quả hơn về chi phí. Chẳng hạn, giả sử xác suất tiên nghiệm là 0,01. Sau đó, entropy của bạn là 0,08 bit. Nếu xác suất giảm xuống còn 0,001, thì entropy của bạn bây giờ là 0,01. Vì vậy, tiếp tục thu thập dữ liệu thường không hiệu quả chi phí. Một lý do tại sao nó sẽ có hiệu quả về mặt chi phí là vì việc biết là rất quan trọng đến nỗi ngay cả 0,01 bit entropy còn lại cũng đáng để giảm.

Một lý do khác là nếu xác suất tiên nghiệm thực sự cao. Nếu xác suất tiên nghiệm của bạn là hơn 50%, thì việc không từ chối null sẽ làm tăng entropy của bạn, khiến việc tiếp tục thu thập dữ liệu trở nên hiệu quả hơn về mặt chi phí. Một ví dụ sẽ là khi bạn gần như chắc chắn rằng có hiệu ứng, nhưng không biết theo hướng nào.

Chẳng hạn, nếu bạn là một nhân viên phản gián và bạn chắc chắn rằng một bộ phận có nốt ruồi và đã thu hẹp nó xuống còn hai nghi phạm, và đang thực hiện một số phân tích thống kê để quyết định xem cái nào, thì kết quả không đáng kể về mặt thống kê sẽ chứng minh việc thu thập thêm dữ liệu.