Làm thế nào để làm phiền một trọng tài thống kê?

Gần đây tôi đã hỏi một câu hỏi liên quan đến các nguyên tắc chung xung quanh việc xem xét số liệu thống kê trong bài báo . Điều tôi muốn hỏi bây giờ là điều gì đặc biệt làm bạn khó chịu khi xem lại một bài báo, tức là cách tốt nhất để thực sự làm phiền một trọng tài thống kê!

Một ví dụ cho mỗi câu trả lời, xin vui lòng.

Điều đặc biệt gây khó chịu cho cá nhân tôi là những người sử dụng rõ ràng các gói do người dùng viết cho phần mềm thống kê nhưng không trích dẫn chúng đúng cách, hoặc do đó, không cung cấp bất kỳ tín dụng nào cho các tác giả. Làm như vậy đặc biệt quan trọng khi các tác giả ở trong học viện và công việc của họ phụ thuộc vào việc xuất bản các bài báo được trích dẫn . (Có lẽ tôi nên nói thêm rằng, trong lĩnh vực của tôi, nhiều thủ phạm không phải là thống kê.)

Ôi trời, rất nhiều điều hiện lên trong đầu tôi ...

• Hồi quy từng bước

• Chia dữ liệu liên tục thành các nhóm

• Đưa ra giá trị p nhưng không có thước đo kích thước hiệu ứng

• Mô tả dữ liệu bằng cách sử dụng giá trị trung bình và độ lệch chuẩn mà không cho biết liệu dữ liệu có ít nhiều đối xứng và không đối xứng

• Các hình không có chú thích rõ ràng (là các thanh lỗi đó là lỗi tiêu chuẩn của giá trị trung bình hoặc độ lệch chuẩn trong các nhóm, hay là gì?)

Irene Stratton và đồng nghiệp đã xuất bản một bài báo ngắn về một câu hỏi liên quan chặt chẽ:

Stratton IM, Neil A. Làm thế nào để đảm bảo bài viết của bạn bị từ chối bởi người đánh giá thống kê . Y học tiểu đường 2005; 22 (4): 371-373.

Mã được sử dụng để tạo kết quả mô phỏng không được cung cấp. Sau khi yêu cầu mã, nó yêu cầu công việc bổ sung để chạy mã trên bộ dữ liệu do trọng tài tạo.

Đạo văn (lý thuyết hoặc phương pháp). Đánh giá đầu tiên của tôi thực sự là một bài báo cho thấy nhiều bản sao / dán không được kiểm chứng từ một bài báo phương pháp được thiết lập tốt được xuất bản 10 năm trước.

Chỉ cần tìm thấy một vài bài báo thú vị về chủ đề này: Quyền tác giả và đạo văn trong khoa học .

Trong cùng một suy nghĩ, tôi thấy giả mạo (dữ liệu hoặc kết quả) là tồi tệ nhất của tất cả.

Khi chúng tôi yêu cầu các tác giả cho

1. nhận xét nhỏ về một ý tưởng chúng tôi có (theo nghĩa này, đây không được coi là lý do từ chối bài viết mà chỉ để chắc chắn rằng các tác giả có thể thảo luận về một POV khác), hoặc
2. kết quả không rõ ràng hoặc mâu thuẫn,

và các tác giả không thực sự trả lời trong trường hợp (1) hoặc kết quả bị buộc tội trong (2) biến mất khỏi MS.

Nhầm lẫn giá trị p và kích thước hiệu ứng (nghĩa là hiệu ứng của tôi lớn vì tôi có giá trị p rất nhỏ).

Khác một chút so với câu trả lời của Stephan về việc loại trừ kích thước hiệu ứng nhưng đưa ra giá trị p. Tôi đồng ý bạn nên cho cả hai (và hy vọng hiểu sự khác biệt!)

Không bao gồm kích thước hiệu ứng.

P-ing trên tất cả các nghiên cứu (tôi phải ghi nhận giáo sư trường yêu thích của tôi cho dòng đó).

Đưa ra một số chữ số vô lý (nam tăng hơn 3,102019 bảng so với nữ)

Không bao gồm số trang (điều đó làm cho việc đánh giá khó khăn hơn)

Số liệu và bảng đánh giá sai

(như đã đề cập - từng bước và phân loại các biến liên tục)

Khi họ không giải thích đầy đủ phân tích của họ và / hoặc bao gồm các lỗi đơn giản gây khó khăn cho việc tìm ra những gì thực sự đã được thực hiện. Điều này thường bao gồm ném xung quanh rất nhiều biệt ngữ, bằng cách giải thích, điều này mơ hồ hơn tác giả dường như nhận ra và cũng có thể bị sử dụng sai.

Sử dụng ngôn ngữ nhân quả để mô tả các liên kết trong dữ liệu quan sát khi các biến bị bỏ qua gần như chắc chắn là một mối quan tâm nghiêm trọng.

Khi các tác giả sử dụng một thử nghiệm thống kê mà họ biết (trong lĩnh vực của tôi, thường là thử nghiệm t hoặc ANOVA), quảng cáo vô hạn, bất kể nó có phù hợp hay không. Gần đây tôi đã xem xét một bài báo mà các tác giả muốn so sánh một tá các nhóm điều trị khác nhau, vì vậy họ đã thực hiện một thử nghiệm t hai mẫu cho mỗi cặp phương pháp điều trị có thể ...

Đến với các từ mới cho các khái niệm hiện có, hoặc ngược lại, sử dụng các thuật ngữ hiện có để biểu thị một cái gì đó khác nhau.

Một số khác biệt về thuật ngữ hiện có đã được giải quyết từ lâu trong tài liệu: dữ liệu theo chiều dọc trong thống kê sinh học so với dữ liệu bảng trong kinh tế lượng; các chỉ số nguyên nhân và kết quả trong xã hội học so với các chỉ số hình thành và phản ánh trong tâm lý học; v.v ... Tôi vẫn ghét họ, nhưng ít nhất bạn có thể tìm thấy một vài ngàn tài liệu tham khảo cho mỗi người trong số họ trong văn học tương ứng của họ. Cái gần đây nhất là toàn bộ chuỗi nghiên cứu về đồ thị chu kỳ có hướng trong tài liệu nhân quả: hầu hết, nếu không phải tất cả, về lý thuyết xác định và ước lượng trong những điều này đã được các nhà kinh tế lượng học phát triển vào những năm 1950 dưới tên các phương trình đồng thời.

Thuật ngữ có gấp đôi, nếu không phải là ba, có nghĩa là "mạnh mẽ" và các ý nghĩa khác nhau thường trái ngược nhau. Lỗi tiêu chuẩn "mạnh mẽ" không mạnh mẽ đối với các ngoại lệ; hơn nữa, chúng không mạnh để chống lại bất cứ điều gì ngoại trừ độ lệch giả định so với mô hình và thường có hiệu suất mẫu nhỏ ảm đạm. Các lỗi tiêu chuẩn của White không mạnh đối với các tương quan nối tiếp hoặc cụm; Các lỗi tiêu chuẩn "mạnh mẽ" trong SEM không mạnh mẽ đối với các lỗi chính tả của cấu trúc mô hình (các đường dẫn hoặc biến bị bỏ qua). Cũng giống như với ý tưởng về thử nghiệm ý nghĩa giả thuyết null, không thể chỉ tay vào bất cứ ai và nói: "Bạn có trách nhiệm gây nhầm lẫn cho nhiều thế hệ các nhà nghiên cứu vì đã đặt ra khái niệm này không thực sự đúng với tên của nó".

Không xem xét dữ liệu bị thiếu.

Nhiều ứng dụng thực tế sử dụng dữ liệu có ít nhất một số giá trị bị thiếu. Điều này chắc chắn rất đúng trong dịch tễ học. Thiếu dữ liệu trình bày các vấn đề cho nhiều phương pháp thống kê - bao gồm các mô hình tuyến tính. Thiếu dữ liệu với các mô hình tuyến tính thường được xử lý thông qua việc xóa các trường hợp với bất kỳ dữ liệu bị thiếu nào trên bất kỳ hiệp phương sai nào. Đây là một vấn đề, trừ khi dữ liệu bị thiếu theo giả định rằng dữ liệu bị mất hoàn toàn ngẫu nhiên (MCAR).

Có lẽ 10 năm trước, thật hợp lý khi công bố kết quả từ các mô hình tuyến tính mà không cần xem xét thêm về sự mất tích. Tôi chắc chắn có tội về điều này. Tuy nhiên, lời khuyên rất tốt về cách xử lý dữ liệu bị thiếu với nhiều lần cắt bỏ hiện đang có sẵn rộng rãi, cũng như các gói / mô hình / thư viện / vv thống kê. để tạo điều kiện cho các phân tích phù hợp hơn theo các giả định hợp lý hơn khi thiếu.

Báo cáo các hiệu ứng "tiếp cận tầm quan trọng (ví dụ p <.10) và sau đó viết về chúng như thể chúng đã đạt được tầm quan trọng ở mức độ nghiêm ngặt và chấp nhận hơn. Chạy nhiều Mô hình phương trình cấu trúc không được lồng vào nhau và sau đó viết về chúng như thể chúng Được lồng vào nhau. Lấy một chiến lược phân tích được thiết lập tốt và trình bày nó như thể chưa ai từng nghĩ đến việc sử dụng nó trước đây.

Tôi đề nghị hai bài viết sau:

Martin Bland:
Làm thế nào để làm phật lòng trọng tài thống kê
Điều này dựa trên một loạt các cuộc đàm phán do Martin Bland đưa ra, cùng với dữ liệu từ các trọng tài thống kê khác ('một mẫu thuận tiện với tỷ lệ phản hồi thấp'). Nó kết thúc với một danh sách 11 điểm '[h] ow để tránh làm đảo lộn trọng tài thống kê'.

Stian Lyderen:
Đánh giá thống kê : nhận xét thường xuyên
Bài báo gần đây (xuất bản 2014/2015) liệt kê 14 nhận xét đánh giá phổ biến nhất của tác giả, dựa trên khoảng. 200 đánh giá thống kê các bài báo khoa học (trong một tạp chí cụ thể). Mỗi bình luận có một lời giải thích ngắn gọn về vấn đề và hướng dẫn về cách thực hiện phân tích / báo cáo đúng cách . Danh sách các tài liệu tham khảo được trích dẫn là một kho tàng các bài báo thú vị.

Tôi bực mình nhất (và thường xuyên nhất) bực mình vì "xác thực" nhằm mục đích lỗi tổng quát hóa của các mô hình dự đoán trong đó dữ liệu thử nghiệm không độc lập (ví dụ: nhiều phép đo cho mỗi bệnh nhân trong dữ liệu, các phép đo tách ra khỏi bootstrap hoặc chéo xác thực không bệnh nhân ).

Thậm chí còn khó chịu hơn, các bài báo đưa ra kết quả xác thực chéo không hoàn hảo như vậy cộng với một bộ kiểm tra độc lập chứng minh sự thiên vị quá mức của xác thực chéo nhưng không phải là một từ mà thiết kế xác thực chéo là sai ...

(Tôi sẽ rất vui nếu dữ liệu tương tự sẽ được trình bày "chúng tôi biết việc xác thực chéo sẽ phân chia bệnh nhân, nhưng chúng tôi bị mắc kẹt với phần mềm không cho phép điều này. Do đó, chúng tôi đã thử nghiệm thêm một nhóm bệnh nhân thử nghiệm độc lập thực sự. ")

(Tôi cũng biết rằng bootstrapping = resampling với thay thế thường hoạt động tốt hơn so với xác thực chéo = lấy mẫu lại mà không thay thế. Tuy nhiên, chúng tôi đã tìm thấy dữ liệu phổ (mô phỏng phổ và thiết lập mô hình hơi nhân tạo nhưng quang phổ thực) lặp đi lặp lại / xác thực chéo -of-bootstrap có độ không đảm bảo chung tương tự nhau, oob có nhiều sai lệch nhưng ít sai lệch hơn - để viết lại, tôi đang xem xét điều này từ góc độ rất thực tế: xác nhận chéo lặp lại so với ngoài bootstrap không quan trọng miễn là nhiều giấy tờ không phân chia bệnh nhân khôn ngoan cũng không báo cáo / thảo luận / đề cập đến sự không chắc chắn ngẫu nhiên do kích thước mẫu thử nghiệm hạn chế.)

Bên cạnh việc sai, điều này cũng có tác dụng phụ là những người thực hiện xác nhận hợp lệ thường phải bảo vệ tại sao kết quả của họ lại tệ hơn nhiều so với tất cả những kết quả khác trong tài liệu.

Sử dụng "dữ liệu" theo nghĩa số ít. Dữ liệu là, họ không bao giờ được.

Đối với tôi cho đến nay là, quy kết nguyên nhân mà không có bất kỳ phân tích nguyên nhân thích hợp hoặc khi có suy luận nguyên nhân không đúng.

Tôi cũng ghét nó khi không chú ý đến việc xử lý dữ liệu bị thiếu. Tôi cũng thấy rất nhiều bài báo mà các tác giả chỉ đơn giản thực hiện phân tích trường hợp hoàn chỉnh và không đề cập đến việc liệu kết quả có thể khái quát hóa đối với dân số bị thiếu giá trị hay cách dân số có giá trị bị thiếu có thể khác biệt một cách có hệ thống với dân số có dữ liệu hoàn chỉnh.

Sử dụng Microsoft Word chứ không phải LaTeX.