Là người đánh giá, tôi có thể biện minh cho việc yêu cầu dữ liệu và mã được cung cấp ngay cả khi tạp chí không?

23

Theo định nghĩa khoa học phải có khả năng tái tạo, theo định nghĩa, ngày càng có nhiều sự công nhận rằng dữ liệu và mã là một thành phần thiết yếu của khả năng tái tạo, như thảo luận của Hội thảo bàn tròn Yale để chia sẻ dữ liệu và mã .

Khi xem xét bản thảo cho một tạp chí không yêu cầu chia sẻ dữ liệu và mã, tôi có thể yêu cầu dữ liệu và mã được cung cấp không

với tôi tại thời điểm xem xét
công khai tại thời điểm xuất bản (tạp chí hỗ trợ bổ sung)

Ngoài ra, làm thế nào tôi có thể cụm từ một yêu cầu như vậy?

cập nhật : mặc dù tôi quan tâm đến trường hợp chung, trường hợp cụ thể này bao gồm phân tích tổng hợp với tất cả dữ liệu được công bố trước đó và mã là các mô hình tuyến tính đơn giản trong SAS

lưu ý bên cạnh khả năng thực hiện suy luận nghiên cứu chéo (như mục tiêu của phân tích tổng hợp) sẽ được tăng cường đáng kể nếu nhiều nghiên cứu cung cấp dữ liệu thô

cập nhật 2 :

Tôi đã yêu cầu dữ liệu và mã từ trình chỉnh sửa cho mục đích đánh giá, biên tập viên đã xem xét yêu cầu hợp lý và tôi đã nhận được tài liệu được yêu cầu (đủ nhưng với tên biến khó hiểu, không có siêu dữ liệu và một vài nhận xét nội tuyến) trong một ngày.

— David LeBauer
nguồn

3

Cá nhân, tôi sẽ ổn với mã trong bất kỳ trường hợp nào. Dữ liệu là một vấn đề khác. Trừ khi nó đã có sẵn công khai, tôi có thể sẽ không được phép chia sẻ nó với bất kỳ ai. Tôi nghi ngờ điều này làm cho một yêu cầu dữ liệu không hợp lý trong nhiều trường hợp.

— Andy W

4

Điều này nghe có vẻ như một cái gì đó bạn nên thảo luận với biên tập viên hoặc biên tập viên liên kết của bạn. Nếu họ đang làm công việc của mình, họ sẽ có thể cung cấp cho bạn hướng dẫn và có thể sẽ đóng vai trò là điểm liên lạc cho các tác giả cho bất kỳ yêu cầu nào như vậy.

— Đức hồng y

1

Dường như với tôi, nhiều ví dụ và thảo luận tiếp theo dựa trên các tình huống có thể thay đổi rất nhiều theo kỷ luật và dữ liệu chúng ta đang nói đến. Chắc chắn một số tình huống có vẻ hoàn toàn hợp lý để phổ biến dữ liệu, nhưng điều đó không nhất thiết phải đặc trưng cho tất cả các tình huống. Câu hỏi này đang biến thành một câu nói rất nhanh!

— Andy W

1

@Andy có gợi ý nào về cách tránh xa cơn thịnh nộ không? ví dụ: sự khác biệt nên được thực hiện trong OP hoặc chỉnh sửa câu trả lời (rốt cuộc đó là CW).

— Abe

1

Tôi nghĩ rằng hình thức này có một sự lựa chọn thiên vị :-). Hầu hết chúng ta đều ở đây vì hầu hết chúng ta đều ủng hộ ý tưởng của OP theo một cách nào đó.

— suncoolsu

7

Theo như nhận được dữ liệu của người đánh giá, bạn có quyền sử dụng dữ liệu đó nếu bạn cần nó để hoàn thành đánh giá của mình đúng cách. Nhiều người đánh giá nên yêu cầu dữ liệu và đánh giá nó. Rất nhiều tạp chí có chính sách mà họ có thể yêu cầu dữ liệu và mã phân tích cho mục đích xem xét.

Tính khả dụng tại thời điểm xuất bản không rõ ràng đối với tôi. Có vẻ như bạn đang nói rằng bạn muốn buộc vấn đề rằng dữ liệu phải được công khai dưới dạng điều kiện xuất bản. Đó là một ý tưởng tồi nếu nó không phải là chính sách tạp chí. Bạn đang làm cho xuất bản một mục tiêu di chuyển không công bằng. Họ đã gửi hy vọng rằng đó không phải là một yêu cầu và bạn, cũng như biên tập viên, nên thay đổi trò chơi.

Không biết đến nhiều nhà nghiên cứu tài trợ công khai cho các nhà nghiên cứu, họ được yêu cầu phải công khai dữ liệu của họ. Ví dụ, hầu hết các khoản tài trợ của NIH đều có các điều khoản mà nhà nghiên cứu phải sắp tới với dữ liệu của họ. Hầu hết các cơ quan cấp chính phủ đều có các điều khoản chia sẻ dữ liệu buộc nhà nghiên cứu phải chia sẻ những gì họ tìm thấy (có lẽ lực lượng hơi mạnh vì cho rằng rất khó để mất một khoản trợ cấp về điều đó ... mặc dù có thể mất đổi mới). Công chúng đã trả tiền cho dữ liệu, do đó công chúng có quyền sử dụng nó --- trong trường hợp nghiên cứu của con người, được quyền ẩn danh.

Một số dữ liệu nhạy cảm và đắt nhất để thu thập, dữ liệu FMRI của con người, cũng là một số dữ liệu phổ biến nhất được cung cấp công khai. Không chỉ PLoS, mà các tạp chí lớn của lĩnh vực này yêu cầu nộp dữ liệu và duy trì ngân hàng dữ liệu có sẵn công khai. Tôi nghĩ điều này nói lên nhiều điều với những người phản đối vì lý do chi phí (rất tốn kém) và quyền riêng tư (đó là dữ liệu của con người từ các nghiên cứu nhỏ và đôi khi là các quần thể lâm sàng độc đáo có thể rất nhạy cảm). Đó là những lý do làm cho dữ liệu đó có giá trị hơn đối với công chúng. Các nhà nghiên cứu giữ lại dữ liệu đó đang làm mất lòng tin đối với những người đã mua nó (mọi người) và cần một bài học về trách nhiệm của họ nằm ngoài phòng thí nghiệm nhỏ và cuộc thi xuất bản.

Nếu nghiên cứu được tài trợ tư nhân, tài trợ thực sự tư nhân, thì tốt nhất là may mắn.

— John
nguồn

Tôi đồng ý với hầu hết những gì trong vấn đề này - đã có yêu cầu tiết lộ dữ liệu - thường là cho các nhà nghiên cứu đủ điều kiện khác - trong các khoản tài trợ do NIH tài trợ và tương tự. Nhưng tôi nghĩ rằng việc mở rộng điều này đến một yêu cầu đặc biệt để xuất bản là vượt quá vai trò của một nhà phê bình.

— Fomite

1

(+1) Câu trả lời chu đáo, rõ ràng. Một điều cần lưu ý là trang web này có đối tượng khá quốc tế. Tôi hy vọng nhiều nhà nghiên cứu sẽ có cái nhìn hợp tác đối với nghiên cứu và dữ liệu của họ ngay cả khi không có NIH hoặc tổ chức nào khác vặn vẹo cánh tay của họ.

— Đức hồng y

EpiGrad, trong trường hợp không rõ câu trả lời, tôi cảm thấy đưa ra yêu cầu đặc biệt về xuất bản không chỉ vượt qua giới hạn của người đánh giá, mà cả biên tập viên.

— Giăng

Đức Hồng Y, cảm ơn vì lời khen. Cảm ơn đã nhắc nhở là tốt. Tôi cố gắng ghi nhớ rằng trang web là quốc tế. Lớn như NIH, nó không ở nước tôi. ;)

— John

@John. Vâng - Tôi chỉ quên đặt +1 trong khi đồng ý với bạn :)

— Fomite

6

Giải quyết hai tình huống riêng biệt:

Là người đánh giá: Có, tôi nghĩ bạn có cơ sở để yêu cầu xem dữ liệu hoặc mã. Nhưng nếu tôi là bạn, tôi sẽ chuẩn bị để xem những thứ như giảm mã, hoặc một mẫu dữ liệu. Mọi người thực hiện nghiên cứu trong tương lai không được báo cáo trong bài báo này trong mã của họ mọi lúc và bạn không có quyền đối với mã nói. Vì tôi chủ yếu thực hiện nghiên cứu y sinh, tôi cũng sẵn sàng đối phó với một số thỏa thuận sử dụng dữ liệu khá hạn chế.

Trong chính tạp chí: Không. Nếu một nhà nghiên cứu muốn sao chép kết quả của tôi, họ có thể tự tiếp cận tôi để hỏi mã - đó là lý do tại sao chúng tôi có các tác giả tương ứng. Đối với dữ liệu, hoàn toàn không, trong mọi trường hợp. Dữ liệu của tôi bị chi phối bởi IRB và các thỏa thuận bảo mật - nó sẽ không được công khai. Nếu tôi muốnmột bộ dữ liệu công khai, tôi có thể mô phỏng bộ dữ liệu có các thuộc tính tương tự (ví dụ: dữ liệu mạng "Faux-Mesa" có sẵn trong một trong các gói mạng cho R), nhưng với tư cách là người đánh giá, bạn không có yêu cầu buộc phải . Nếu đó là một yêu cầu trên toàn tạp chí, thì các tác giả biết dữ liệu / mã của họ sẽ được công khai khi gửi nó, nhưng nếu không thì không. Vai trò của bạn là đánh giá chất lượng của bài báo (do đó tôi không đồng ý với mục đích đánh giá), không sử dụng khả năng của bạn để đóng góp vào việc chấp nhận / từ chối bài viết để thúc đẩy những gì thực chất là một quan điểm triết học / chính trị ngoài phạm vi của tạp chí.

Tốt nhất, tôi sẽ đặt câu "Tôi rất mong các tác giả cung cấp mã và dữ liệu của họ, nếu có thể" trong các bình luận của bạn, nhưng tôi sẽ không diễn đạt nó mạnh hơn thế, và tôi sẽ không đưa nó vào danh sách chính thức của "Những điều tôi nghĩ cần sửa chữa trước khi điều này nhìn thấy ánh sáng của ngày".

— Phụ nữ
nguồn

Chỉ cần chú ý các chỉnh sửa của bạn: Trong trường hợp này, theo như bài báo có liên quan, thì câu trả lời thực sự là 'không' mạnh mẽ hơn - giả sử bài báo có trích dẫn. Nếu quan điểm của yêu cầu là 'nghiên cứu có thể tái tạo' và dữ liệu có thể tìm thấy công khai, thì không có lý do gì một nhà nghiên cứu tìm cách xác nhận phát hiện không thể tự làm điều này. Hơn nữa, nếu quan điểm thực sự là đánh giá khoa học, thay vì chỉ chứng minh rằng bạn cũng có thể nhấp vào "Chạy" và nhận được kết quả tương tự, thì việc tự mình trải qua quá trình tìm kiếm và trừu tượng là một phần của việc xác minh kết quả.

— Fomite

để nghiên cứu có thể tái tạo, phiên bản của mã và dữ liệu được sử dụng trong phân tích nên được cung cấp và mã không được sử dụng trong phân tích sẽ không được mong đợi (hoặc nhất thiết phải liên quan).

— David LeBauer

@EpiGrad: Ở một mức độ nào đó, tôi không hoàn toàn đồng ý với điều không mạnh mẽ này . Keith Baggerly đã truyền giáo về chủ đề này gần đây và đưa ra một số quan sát thú vị. Xem, ví dụ, KA Baggerly và KR Coombes, Xuất phát tính nhạy cảm từ các dòng tế bào: Tin sinh học pháp y và nghiên cứu tái sản xuất trong sinh học thông lượng cao , Ann. Táo. Thống kê , tập 3, không. 4, trang 1309-1334. Ngoài ra còn có một phiên bản arxiv .

— Đức hồng y

Tôi biết rất ít nhà nghiên cứu được tài trợ có IRB và các vấn đề bảo mật thực sự hạn chế việc xuất bản dữ liệu ẩn danh đúng. Nếu bạn ở trong tình huống đó thì đó là một trường hợp khá hiếm.

— Giăng

@EpiGrad Mình cũng hỏi mạnh không . Các phương pháp được sử dụng để lấy từ dữ liệu thô đến số liệu xuất phát trong phân tích tổng hợp thường yêu cầu một bộ giả định lớn liên quan đến sự khác biệt về phương pháp và diễn giải xảy ra ở cấp độ của một nghiên cứu riêng lẻ. Trong trường hợp này, có hơn 200 nghiên cứu được đại diện, vì vậy thời gian cần thiết để xây dựng lại bộ dữ liệu sẽ bị cấm - và cuối cùng sẽ ức chế mục tiêu cuối cùng của tiến bộ khoa học.

— David LeBauer

5

Như John nói rằng sự sẵn có của dữ liệu cho người đánh giá nên không có trí tuệ; xem xét cẩn thận nên bao gồm sao chép phân tích và như vậy đòi hỏi phải truy cập vào dữ liệu.

Liên quan đến tính công khai của dữ liệu sau khi xuất bản, tôi nói rằng trận chiến nên được chiến đấu với tạp chí nói chung hơn là liên quan đến một bài nộp cụ thể.

Một lưu ý chung hơn, các cơ quan tài trợ và IRB ngày càng nhận thức được rằng chia sẻ dữ liệu là thành phần cần thiết về mặt khoa học và đạo đức của nghiên cứu. Bằng cách tăng tính khả dụng để phân tích lại có thể mang lại kết quả mới của các báo cáo sai, chia sẻ dữ liệu làm tăng lợi ích tiềm năng cho nghiên cứu, từ đó sửa đổi sự đánh đổi chi phí / lợi ích thành lợi thế của những người tham gia nghiên cứu. Chắc chắn cần phải thông báo cho người tham gia về khả năng dữ liệu của họ sẽ được chia sẻ và cũng cần thiết lập các biện pháp bảo vệ để ngăn ngừa nguy cơ nhận dạng cho người tham gia, nhưng có thể đạt được trong hầu hết các trường hợp. Trong nghiên cứu của riêng tôi, tôi đảm bảo với những người tham gia (và IRB của tôi) rằng (1) dữ liệu sẽ được lưu trữ ở định dạng được mã hóa mạnh (được cập nhật khi tiến bộ công nghệ giải mã),

— Mike Lawrence
nguồn

1

Tôi không có bất kỳ kinh nghiệm nào với việc này, nhưng dường như với tôi rằng bạn có thể nhấn mạnh vào # 1 như một phần của sự siêng năng của chính bạn trong việc xem xét kết quả của họ. Tôi không thấy làm thế nào bạn có thể nhấn mạnh vào # 2, mặc dù.

— Wayne
nguồn