Các hướng dẫn để thực hiện các thí nghiệm tính toán là gì?


13

Vật lý, sinh học, hóa học, vv có các bộ quy tắc khác nhau để thực hiện các thí nghiệm: những sự kiện nào được coi là có liên quan, làm thế nào để tránh ô nhiễm mẫu, cách tạo và sửa chữa quy trình sao chép, v.v.

Các tiêu chuẩn, giao thức và thực hành tốt nhất để đảm bảo độ chính xác và độ tái lập trong các thí nghiệm số là gì?


1
Tôi chưa bao giờ bắt gặp một bộ quy tắc thực hành tốt nhất, nhưng dựa trên việc làm việc với những gì đang được công bố, tôi sẽ nói rằng ngay cả đối với khả năng tái tạo một mình cũng có những vấn đề lớn trong thực tiễn hiện tại: Kết quả có thể bị ảnh hưởng bởi nền tảng phần cứng, hệ điều hành (và phiên bản), trình biên dịch (và phiên bản), công tắc biên dịch và cài đặt cấu hình ứng dụng. Hiếm khi tôi tìm thấy tài liệu này với một lượng chi tiết đủ.
njuffa

Câu trả lời:


19

Rất nhiều đã được viết về cách thiết kế, thực hiện và báo cáo kết quả của các thí nghiệm tính toán. Điều này có các kết nối rõ ràng với phần mềm nguồn mở và phong trào "khoa học mở" rộng lớn hơn. Một vấn đề quan trọng khác là sự khác biệt giữa nghiên cứu và nghiên cứu "mã của tôi nhanh hơn của bạn" giúp chúng tôi hiểu rõ hơn các thuộc tính của thuật toán.

Một số tài liệu tham khảo về các thử nghiệm tính toán và thử nghiệm mà bạn có thể muốn xem xét bao gồm:

Quan tài, Marie và Matthew J. Saltzman. 2000. Phân tích thống kê về các bài kiểm tra tính toán của thuật toán và phương pháp phỏng đoán. Tạp chí INFORMS Tạp chí về tính toán 12 (1): 24 mộc44.

Đám đông, Harlan, Ron S. Dembo và John M. Mulvey. 1979. Báo cáo về các thử nghiệm tính toán với phần mềm toán học . Giao dịch ACM trên phần mềm toán học (TOMS) 5 (2): 193 phản 203.

Feitelson, Dror G. 2006. Khoa học máy tính thử nghiệm: Sự cần thiết cho một sự thay đổi văn hóa .

Hooker, John N. 1995. Thử nghiệm Heuristic: Chúng tôi có tất cả sai . Tạp chí Heuristic 1 (1): 33 trận42.

McGeoch, Catherine C. 2012. Hướng dẫn về thuật toán thực nghiệm. Nhà xuất bản Đại học Cambridge.


Tôi cũng sẽ đề cập đến các công cụ như Sumatra ( pypi.org/project/Sumatra ) nhằm cung cấp các công cụ để theo dõi các thí nghiệm tính toán để hỗ trợ nghiên cứu tái sản xuất. Xem thêm tại đây datascience.stackexchange.com/questions/758
GertVdE
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.