Làm thế nào chúng ta định nghĩa 'nghiên cứu tái sản xuất'?

Điều này đã xuất hiện trong một vài câu hỏi và tôi đã tự hỏi về điều gì đó. Toàn bộ lĩnh vực đã chuyển sang "độ tái lập" tập trung vào tính khả dụng của dữ liệu gốc và mã được đề cập?

Tôi luôn được dạy rằng cốt lõi của khả năng tái tạo không nhất thiết, như tôi đã đề cập, khả năng nhấp vào Chạy và nhận được kết quả tương tự. Cách tiếp cận dữ liệu và mã dường như cho rằng dữ liệu là chính xác - rằng không có lỗ hổng nào trong việc thu thập dữ liệu (thường sai lầm trong trường hợp gian lận khoa học). Nó cũng tập trung vào một mẫu duy nhất của dân số mục tiêu, thay vì khả năng nhân rộng của việc tìm kiếm trên nhiều mẫu độc lập.

Tại sao lại nhấn mạnh vào việc có thể chạy lại phân tích, thay vì sao chép nghiên cứu từ đầu?

Bài viết được đề cập trong các ý kiến ​​dưới đây có sẵn ở đây .

"Nghiên cứu sinh sản" là phân tích tái sản xuất

Nghiên cứu sinh sản là một thuật ngữ được sử dụng trong một số lĩnh vực nghiên cứu để chỉ cụ thể để tiến hành phân tích sao cho

• mã biến đổi dữ liệu thô và dữ liệu meta thành dữ liệu được xử lý,
• mã chạy phân tích trên dữ liệu và
• mã kết hợp các phân tích vào một báo cáo.

Khi dữ liệu và mã như vậy được chia sẻ, điều này cho phép các nhà nghiên cứu khác:

• thực hiện các phân tích không được báo cáo bởi các nhà nghiên cứu ban đầu
• kiểm tra tính đúng đắn của các phân tích được thực hiện bởi các nhà nghiên cứu ban đầu

Cách sử dụng này có thể được nhìn thấy trong các cuộc thảo luận về các công nghệ như Sweave . Ví dụ, Friedrich Leisch viết trong bối cảnh của Sweave rằng "báo cáo có thể được cập nhật tự động nếu dữ liệu hoặc phân tích thay đổi, cho phép nghiên cứu thực sự có thể tái tạo." Cũng có thể thấy trong Quan điểm về nhiệm vụ CRAN về nghiên cứu sinh sản trong đó nêu rõ rằng "mục tiêu của nghiên cứu tái sản xuất là gắn các hướng dẫn cụ thể vào phân tích dữ liệu và dữ liệu thử nghiệm để học bổng có thể được tạo lại, hiểu rõ hơn và được xác minh."

Sử dụng rộng rãi hơn của thuật ngữ "tái sản xuất"

Sinh sản là một mục tiêu cơ bản của khoa học. Nó không mới. Báo cáo nghiên cứu bao gồm các phần phương pháp và kết quả sẽ phác thảo cách dữ liệu được tạo, xử lý và phân tích. Một quy tắc chung là các chi tiết được cung cấp phải đủ để cho phép một nhà nghiên cứu có thẩm quyền thích hợp lấy thông tin được cung cấp và sao chép nghiên cứu.

Khả năng sinh sản cũng liên quan chặt chẽ đến các khái niệm về khả năng nhân rộng và khái quát hóa.

Do đó, thuật ngữ "nghiên cứu có thể tái tạo", được hiểu theo nghĩa đen, được áp dụng cho các công nghệ như Sweave, là một cách gọi sai, cho rằng nó cho thấy mức độ liên quan rộng hơn so với nó. Ngoài ra, khi trình bày các công nghệ như Sweave cho các nhà nghiên cứu chưa sử dụng các công nghệ đó, các nhà nghiên cứu như vậy thường ngạc nhiên khi tôi gọi quá trình này là "nghiên cứu có thể tái tạo".

Một thuật ngữ tốt hơn "nghiên cứu tái sản xuất"

Cho rằng "nghiên cứu tái sản xuất" như được sử dụng trong bối cảnh giống như Sweave chỉ liên quan đến một khía cạnh của nghiên cứu tái sản xuất, có lẽ nên áp dụng một thuật ngữ thay thế. Các lựa chọn thay thế có thể bao gồm:

• Phân tích sinh sản:
  • John D Cook đã sử dụng thuật ngữ này
  • Jennifer Blackford sử dụng thuật ngữ "phân tích đáng tin cậy và tái sản xuất"
• Phân tích dữ liệu sinh sản
  • Barshe Pouzat sử dụng thuật ngữ này
• Phân tích thống kê sinh sản
  • Trang web Biostats tại Vanderbilt sử dụng thuật ngữ "hoạt động phân tích và báo cáo thống kê có thể lặp lại"
• Báo cáo sinh sản

Tất cả các điều khoản trên là một sự phản ánh chính xác hơn về những gì phân tích giống như Sweave đòi hỏi. Phân tích sinh sản là ngắn và ngọt ngào. Thêm "dữ liệu" hoặc "thống kê" làm rõ thêm mọi thứ, nhưng cũng làm cho thuật ngữ này dài hơn và hẹp hơn. Hơn nữa, "thống kê" có nghĩa hẹp và rộng, và chắc chắn trong phạm vi hẹp, phần lớn xử lý dữ liệu không phải là thống kê. Do đó, chiều rộng ngụ ý của thuật ngữ "phân tích tái sản xuất" có lợi thế của nó .

Nó không chỉ là về khả năng tái sản xuất

Vấn đề khác với thuật ngữ "nghiên cứu tái sản xuất" là mục đích của các công nghệ giống như Sweave không chỉ là "khả năng tái tạo". Có một số mục tiêu liên quan đến nhau:

• Khả năng tái lập
  • Các phân tích có thể dễ dàng được chạy lại để chuyển đổi dữ liệu thô thành báo cáo cuối cùng với cùng kết quả không?
• Đúng
  • Là phân tích dữ liệu phù hợp với ý định của nhà nghiên cứu?
  • Là ý định của nhà nghiên cứu có đúng không?
• Sự cởi mở
  • Minh bạch, trách nhiệm
    • Những người khác có thể kiểm tra và xác minh tính chính xác của các phân tích được thực hiện?
  • Khả năng mở rộng, thay đổi
    • Những người khác có thể sửa đổi, mở rộng, tái sử dụng và nghiền, dữ liệu, phân tích hoặc cả hai để tạo ra các nghiên cứu mới không?

Có một lập luận rằng phân tích tái sản xuất nên thúc đẩy các phân tích chính xác, bởi vì có một bản ghi các phân tích có thể được kiểm tra. Hơn nữa, nếu dữ liệu và mã được chia sẻ, nó tạo ra trách nhiệm giải trình thúc đẩy các nhà nghiên cứu kiểm tra các phân tích của họ và cho phép các nhà nghiên cứu khác lưu ý sửa chữa.

Phân tích sinh sản cũng phù hợp chặt chẽ với các khái niệm xung quanh nghiên cứu mở. Tất nhiên, một nhà nghiên cứu có thể sử dụng các công nghệ giống như Sweave cho riêng họ. Nguyên tắc nghiên cứu mở khuyến khích chia sẻ dữ liệu và mã phân tích để cho phép tái sử dụng và trách nhiệm cao hơn.

Đây không thực sự là một bài phê bình về việc sử dụng từ "tái sản xuất". Thay vào đó, nó chỉ nhấn mạnh rằng sử dụng các công nghệ giống như Sweave là cần thiết nhưng không đủ để đạt được các mục tiêu nghiên cứu khoa học mở.

Có quyền truy cập vào dữ liệu và mã để phân tích ở dạng dễ thực hiện là một điều kiện thiết yếu cho nghiên cứu tái sản xuất. Khi bạn xác minh rằng phân tích hoạt động, bạn có thể thay thế mã / dữ liệu của riêng bạn, nơi bạn nghi ngờ về tác giả ban đầu. Tôi muốn nói rằng phần lớn các bài báo chứa số liệu thống kê mà tôi đọc có ít nhất một phần của phương pháp còn mơ hồ. Những nỗ lực của tôi để tái tạo các phân tích này thường không thành công (và luôn tốn thời gian), nhưng rất khó để nói liệu điều này có phải là do gian lận, lỗi của con người hay (rất có thể) tôi giải quyết những sự mơ hồ này khác với tác giả. Vì vậy, việc có dữ liệu + mã cho một bài báo không đảm bảo rằng kết luận của nó là đúng, nhưng nó giúp việc phê bình hoặc mở rộng chúng dễ dàng hơn nhiều.

Ngoài ra, "nghiên cứu tái sản xuất" một vấn đề mức độ. Vì vậy, phong trào nghiên cứu tái sản xuất có thể được coi là nghiên cứu đáng khích lệ là "tái sản xuất" nhiều hơn so với tiêu chuẩn, thay vì yêu cầu nghiên cứu đáp ứng một số ngưỡng tối thiểu. Tôi đoán rằng "phát hành dữ liệu và mã" đang thịnh hành vì đây là một bước tương đối dễ dàng và không đe dọa.

Có thể chạy lại mọi thứ là điểm khởi đầu cho nghiên cứu tái sản xuất. Nó cho phép bạn thấy rằng bạn thực sự đang sử dụng cùng một quy trình. Sau đó - và chỉ sau đó - bạn có thể theo đuổi nghiên cứu của bạn bè. Nói cách khác, khả năng tái sản xuất nghiêm ngặt không phải được coi là thời điểm mà nghiên cứu đang tiến lên, mà là một mốc, một sự đồng thuận , một cái gì đó mà mọi người đồng ý. Không phải là cơ bản để có được thêm?

Ngoài ra, theo thảo luận của Donoho (đọc phần 2 "vụ bê bối"), mục đích của nghiên cứu tái sản xuất cũng là để kiểm tra tính mạnh mẽ của mã đã cho. Đầu tiên bằng cách chơi với mã, thực hiện sửa đổi độ dốc không được thực hiện trong bài viết (vì chúng tôi không muốn có giấy tờ với 30 Hình ...). Tôi nghĩ rằng khái niệm nghiên cứu tái sản xuất trong lứa tuổi chứa đựng ý tưởng có cột mốc mạnh mẽ mạnh mẽ. Nó gần như chứa đựng ý tưởng đi xa hơn.