Có những bài báo được trích dẫn nhiều về thống kê đã thực sự lan truyền các thực tiễn thống kê kém?

Rõ ràng có nhiều cách để lạm dụng các phương pháp thống kê. Bạn có biết bất kỳ ví dụ nào về thực hành thống kê kém được xuất bản lần đầu dưới dạng lời khuyên rõ ràng (ví dụ: "bạn nên sử dụng phương pháp này để ..."), trong các tạp chí học thuật có uy tín sau đó được trích dẫn nhiều lần không?

Một ví dụ có thể là 10 sự kiện cho mỗi quy tắc dự đoán thường được gọi cho các mô hình hồi quy logistic hoặc Cox PH ( LINK ).

Để rõ ràng, tôi không có nghĩa là các bài báo được trích dẫn cao đã sử dụng các phương pháp thống kê kém - thật không may, đây là những thông thường tầm thường.

RA Fisher, "Sự sắp xếp các thí nghiệm thực địa". Tạp chí của Bộ Nông nghiệp Vương quốc Anh. 33: 503 Phản513. 1926.

$\alpha = 0.05$

... Thật thuận tiện khi vẽ đường ở mức độ mà chúng ta có thể nói: "Hoặc có điều gì đó trong điều trị, hoặc một sự trùng hợp đã xảy ra như không xảy ra nhiều hơn một lần trong hai mươi thử nghiệm."

... Nếu một trong hai mươi dường như không đủ tỷ lệ cược cao, chúng tôi có thể, nếu chúng tôi thích nó, hãy vẽ đường đó ở một phần năm mươi (2 phần trăm điểm), hoặc một phần trăm (1 phần trăm điểm). Cá nhân, người viết thích đặt tiêu chuẩn có ý nghĩa thấp ở mức 5% và bỏ qua hoàn toàn tất cả các kết quả không đạt được mức này. Một thực tế khoa học nên được coi là được thiết lập bằng thực nghiệm chỉ khi một thí nghiệm được thiết kế phù hợp hiếm khi không đưa ra mức ý nghĩa này.

Trong kinh tế lượng, bạn chắc chắn có thể tìm thấy một số ví dụ về các phương pháp được truyền bá bởi các nhà kinh tế lượng học nổi tiếng (và có tay nghề cao) được công bố trên các tạp chí đàng hoàng. Tôi không biết về một bài báo lý thuyết, nhưng Lalonde (1986) khá nổi tiếng khi chỉ ra rằng các phương pháp hiện đang sử dụng không tốt: Ông so sánh các phương pháp thí nghiệm dữ liệu tương tự với các phương pháp quan sát và tìm thấy sự khác biệt lớn trong lĩnh vực điều trị (nguyên nhân) đánh giá . Có một tài liệu lớn đã tuyên truyền những phương pháp phi thực nghiệm này đã được sử dụng trước đó và ngày nay vẫn được sử dụng.

Sau đó, đã có (và tôi nghĩ vẫn còn) một cuộc tranh luận về việc liệu điểm phù hợp với xu hướng có phải là một giải pháp khả thi hay không (xem ví dụ ở đây ).

Hơn nữa, có rất nhiều tranh cãi về ước lượng biến công cụ . Các kết luận của các giấy tờ gốc được trích dẫn cao đã bị tranh cãi. Đây có lẽ là ví dụ gần nhất với câu hỏi của bạn. Bound và Jaeger (1996, và các bài báo tiếp theo) đã đặt câu hỏi về những phát hiện của bài báo nổi tiếng từ Angrist và Krueger (1991; 2700 trích dẫn theo Google Scholar) về cơ bản đã thiết lập phương pháp biến công cụ trong tài liệu kinh tế lượng ứng dụng.

Ngoài ra còn có cuộc tranh luận lớn về sự phù hợp của cái gọi là ước tính hình thức giảm để thiết lập quan hệ nhân quả, xem ví dụ Imbens (2010) .

Một chủ đề lớn khác là tất nhiên về lỗi tiêu chuẩn. Có lẽ người ta có thể tìm thấy một bài báo nổi tiếng về giá trị p. Trong kinh tế lượng, lỗi tiêu chuẩn cho chuỗi thời gian dài hơn thường bị tính toán sai (trong thiết kế khác biệt ) do các phương pháp hiện có sai, xem tại đây . Tuy nhiên tôi không biết về một bài báo được trích dẫn ban đầu đề xuất các phương pháp này trong bối cảnh đó nhưng tôi chắc chắn rằng bạn sẽ tìm thấy một số ví dụ trong lĩnh vực này.

Nguồn:

Anh giáo, Joshua D. và Alan B. Keueger. "Đi học bắt buộc có ảnh hưởng đến việc học và thu nhập không?" Tạp chí kinh tế hàng quý 106, số 4 (1991): 979-1014.

Bertrand, Marianne, Esther Duflo và Sendhil Mullainathan. "Chúng ta nên tin tưởng bao nhiêu vào sự khác biệt về ước tính chênh lệch?" Tạp chí kinh tế hàng quý số 119, số 1 (2004): 249-275.

Giới hạn, John và David A. Jaeger. Về tính hợp lệ của mùa sinh như một công cụ trong các phương trình tiền lương: Nhận xét về Angrist & Krueger "Liệu việc đi học bắt buộc có ảnh hưởng đến Scho. Số w5835. Cục nghiên cứu kinh tế quốc gia, 1996.

Đức Giê-hô-va, Rajeev. "Kết hợp điểm số xu hướng thực tế: trả lời Smith và Todd." Tạp chí kinh tế lượng 125, số 1-2 (2005): 355-364.

Imbens, Guido W. "LATE tốt hơn không có gì: Một số bình luận về Deaton (2009) và Heckman và Urzua (2009)." Tạp chí văn học kinh tế 48, số 2 (2010): 399-423.

LaLonde, Robert J. "Đánh giá các đánh giá kinh tế lượng của các chương trình đào tạo với dữ liệu thực nghiệm." Tạp chí kinh tế Hoa Kỳ (1986): 604-620. *

Tôi thử một lần (mặc dù không quá mạnh):

Rất hữu ích [Cameron, AC, & Miller, DL (2015). Một hướng dẫn của học viên để suy luận cụm mạnh mẽ. Tạp chí Nhân sự, 50 (2), 317-372.] // đã có 1900 trích dẫn học giả Google // cung cấp lời khuyên về mức độ phân cụm các lỗi tiêu chuẩn thích hợp:

"Sự đồng thuận là phải thận trọng và tránh thiên vị và sử dụng các cụm lớn hơn và tổng hợp hơn khi có thể, lên đến và bao gồm cả điểm mà có mối quan tâm về việc có quá ít cụm."

Tuy nhiên, [Abadie, A., Athey, S., Imbens, GW, & Wooldridge, J. (2017). Khi nào bạn nên điều chỉnh lỗi tiêu chuẩn cho phân cụm? (Số w24003). Cục nghiên cứu kinh tế quốc gia.] Cho thấy rằng "thực tế có tác hại trong việc phân cụm ở mức quá tổng hợp". Vui lòng xem trang 1 của phần sau: https://economics.mit.edu/files/13927

Có lẽ bạn cũng có thể tạo ra một trường hợp cứng hơn bắt đầu từ hai quan niệm sai lầm được nhấn mạnh bởi Abadie et al (2017).