Làm thế nào để bạn kiểm tra đơn vị \ sử dụng các phương pháp TDD cho các dự án và báo cáo của ETL?

Các dự án ETL là các dự án được tạo bằng công cụ ETL (Trích xuất - Chuyển đổi - Tải) như SSIS, PowerCenter, v.v.

Chúng thường liên quan đến việc đọc dữ liệu từ nguồn bên ngoài, tải nó vào cơ sở dữ liệu dàn, thực hiện các biến đổi nhất định và tải nó vào cơ sở dữ liệu cuối cùng

Một ví dụ đơn giản là sử dụng SSIS để đọc các tệp excel được cung cấp bởi các giáo viên sử dụng SSIS và tải chúng vào cơ sở dữ liệu. Sau đó viết các thủ tục được lưu trữ hoặc nhiều gói SSIS hơn để tính điểm của từng học sinh và tải dữ liệu đó vào một kho dữ liệu

Sau đó, bạn xây dựng các quy trình được lưu trữ trên đỉnh mart để tạo đầu ra được sử dụng bởi các công cụ báo cáo (SSRS \ Excel \ etc) để tạo trực quan hóa.

Tôi đang cố gắng hiểu làm thế nào để thực hiện TDD và kiểm tra đơn vị thích hợp trong kịch bản này. Các thử nghiệm cho ETL chủ yếu là về việc đảm bảo dữ liệu được tải trong các bảng phân tầng khớp với tập hợp con của dữ liệu từ nguồn. Vì vậy, việc thực hiện một thử nghiệm cho nó dẫn đến việc thực hiện một phiên bản mini của ETL. Đầu ra của SP báo cáo phụ thuộc vào chính dữ liệu trong các bảng, do đó, người ta không thể có một bộ dữ liệu đầu ra ổn định mà không gặp ác mộng bảo trì ngay cả khi bạn tạo cơ sở dữ liệu chứa dữ liệu kiểm tra được lọc

Thí dụ:

Sprint 1: Bảng học sinh chứa Tên, Tuổi, Lớp

Bạn tạo dữ liệu thử nghiệm cho bảng này và thử nghiệm đơn vị dựa trên đó

Sprint 2: Một trường giới tính được thêm vào bảng.

Bây giờ, nếu bạn làm mới dữ liệu trong trường sinh viên để điền thuộc tính giới tính, các trường hợp kiểm tra sẽ bị vô hiệu do dữ liệu thay đổi. Và nếu bạn không, bạn không thể tạo các trường hợp kiểm tra yêu cầu cột giới tính

Những gì tôi đã làm trong quá khứ là sử dụng Phát triển theo hướng chấp nhận thử nghiệm . Mã ETL thường được phân phối trên các giai đoạn / ngôn ngữ và công nghệ khác nhau VÀ được kết hợp chặt chẽ. Hầu hết quá trình ETL phụ thuộc vào chuỗi biến đổi trong đường ống.

Rủi ro khi sử dụng thử nghiệm đơn vị chỉ trong ETL là nó sẽ không bao gồm các tích hợp. Trình tự các phép biến đổi là một phần bằng với các phép biến đổi thực tế trong nhiều ETL. Nếu tôi đang dành tài nguyên cho việc tạo một bộ kiểm tra tự động, tôi sẽ đảm bảo rằng nó cũng bao gồm cả trình tự.

Tôi sẽ tập trung vào TDD cho từng chuỗi biến đổi duy nhất hoặc ít nhất là bao gồm các thử nghiệm này trong một bộ thử nghiệm lớn hơn. Nếu có quá nhiều kết hợp, bạn có thể phải chọn và chọn chuỗi nào để kiểm tra. Ý tưởng là xác nhận đường ống ETL cho (các) tập dữ liệu mà nó sẽ được sử dụng. Cũng như đảm bảo rằng bạn có phạm vi kiểm tra trên tất cả các mã của bạn.

ETL có thể được thực hiện với TDD và kiểm tra khá giống với hầu hết các dự án, tức là

viết một bài kiểm tra không thành công (màu đỏ) sửa lỗi (màu xanh lá cây) làm cho mã đục lỗ & duy trì (tái cấu trúc)

Vì vậy, đối với ETL có thể là:

• viết một kịch bản để tải 1 bản ghi
• thất bại (không có nguồn dữ liệu được xác định)
• xác định nguồn [xanh]
• không cần tái cấu trúc
• viết một bài kiểm tra để tải 1 bản ghi chỉ với 1 trường được điền vào
• thất bại (không có mã được viết cho trường đó)
• xác định chi tiết mã cho trường đó
• cấu trúc lại
• xác định các thử nghiệm thất bại tìm kiếm các thuộc tính có giá trị hợp lệ [đỏ]
• Vân vân