Dữ liệu kiểm tra có nên được kiểm tra vào kiểm soát phiên bản?

Tôi đang viết một số mã kiểm tra cho một tính năng xử lý tệp PDF. Ý tưởng cơ bản đằng sau các bài kiểm tra là tôi hướng chúng tới một số tệp PDF tôi đã chọn đặc biệt, họ xử lý chúng và tôi kiểm tra xem đầu ra có đúng như tôi mong đợi không.

Câu hỏi của tôi là: tôi nên lưu trữ những tệp PDF lớn này ở đâu? Tôi có nên kiểm tra chúng vào kiểm soát phiên bản cùng với mã không? Hoặc đặt chúng ở một nơi khác? Rõ ràng, mã kiểm tra là vô dụng nếu không có các tệp PDF (hoặc thậm chí với các tệp PDF khác nhau) nhưng vẫn đưa chúng vào kho lưu trữ của chúng tôi cảm thấy sai.

Hệ thống kiểm soát phiên bản của bạn nên chứa mọi thứ cần thiết để xây dựng, biên dịch, kiểm tra và đóng gói một ứng dụng để phân phối (ví dụ MSI, RPM). Tôi cũng sẽ tranh luận cấu hình xây dựng và các tập lệnh khác cũng nên được kiểm soát phiên bản.

Tôi sẽ có thể kiểm tra một dự án và có một môi trường biên dịch, xây dựng và kiểm thử hoàn chỉnh.

Có hai cách tiếp cận để kiểm tra dữ liệu thử nghiệm. Đầu tiên, bạn có thể tự kiểm tra dữ liệu thử nghiệm (PDF trong trường hợp này). Thứ hai, bạn có thể kiểm tra dữ liệu nguồn có thể được sử dụng để tạo dữ liệu thử nghiệm (nếu có). Đây có thể là tập lệnh SQL được tải vào cơ sở dữ liệu trống chứa dữ liệu kiểm tra hoặc có thể là tệp dựa trên văn bản có thể được biên dịch thành tệp PDF hoặc tệp khác.

Những người khác có thể không đồng ý với việc kiểm tra mọi thứ vào kiểm soát phiên bản, nhưng tôi nhận thấy trong kinh nghiệm chuyên môn của mình, điều quan trọng là đảm bảo một môi trường hoàn chỉnh có thể được xây dựng lại từ đầu.

Nếu các kiểm tra là vô ích nếu không có các tệp thiết lập mà bạn đã chuẩn bị, thì việc bao gồm các tệp trong VCS của bạn cùng với mã kiểm tra là điều hợp lý.

Mặc dù các tệp được sử dụng trong thử nghiệm không có mã, bạn có thể xem chúng như một phần phụ thuộc mà mã dựa vào. Vì vậy, có công trong việc giữ mọi thứ lại với nhau.

Như một đối trọng, một số VCS không xử lý tốt các tệp nhị phân lớn và một số khác có sự phản đối mạnh mẽ đối với bất kỳ loại tệp nhị phân nào trong một VCS. Nếu một trong những trường hợp đó áp dụng cho bạn, thì việc lưu trữ các tệp kiểm tra ở một vị trí nổi tiếng dễ truy cập cũng sẽ có ý nghĩa.

Tôi cũng sẽ xem xét đưa ra một nhận xét trong mã kiểm tra có nội dung "dựa vào foo.pdfđể chạy tất cả các bài kiểm tra."

Nếu đó là dữ liệu tĩnh, thì có, hãy đặt nó trong kiểm soát phiên bản. Những tệp đó sẽ không thực sự thay đổi khi chúng được kiểm tra; họ sẽ bị xóa nếu chức năng đó không còn cần thiết hoặc các tệp thử nghiệm mới sẽ được thêm vào cùng. Dù bằng cách nào, bạn không cần phải lo lắng về sự khác biệt nhị phân nghèo chiếm không gian.

Nếu bạn đang tạo dữ liệu thử nghiệm, ví dụ: ngẫu nhiên, sau đó bạn nên tự động lưu nó khi kiểm tra thất bại, nhưng loại bỏ nó nếu không. Bất kỳ dữ liệu nào được lưu theo cách này nên được chuyển thành các bài kiểm tra hồi quy thông thường, để các trường hợp cạnh đó chắc chắn được kiểm tra trong tương lai thay vì dựa vào sự may mắn của trận hòa.

Chắc chắn bao gồm dữ liệu đó với các bài kiểm tra của bạn và mã ứng dụng chính của bạn. Nó giúp có một bộ kiểm tra được tổ chức thực sự tốt - vì vậy nếu bạn đang kiểm tra trích xuất pdf (và bạn có mã được đóng gói độc đáo) thì bạn có thể tạo đường dẫn đến dữ liệu thử nghiệm của mình, dựa trên đường dẫn đến mã ứng dụng - điều đó luôn làm việc cho tôi.

Với git, bạn có thể thiết lập .gitignore để ngăn chặn bất kỳ đầu ra tạm thời hoặc đăng nhập thử nghiệm gây ô nhiễm repo của bạn.