Jenkins - Làm thế nào để tìm ra những bài kiểm tra thất bại nhiều lần?

Tôi mới biết về CI và Jenkins. Tôi có một dự án Java chạy thử nghiệm tự động dựa trên Testng trên một dịch vụ web. Các bài kiểm tra tự động hóa chạy thường xuyên như một công việc ở Jenkins. Đôi khi, công việc thất bại liên tục trong một thời gian dài. Nhưng, trong mỗi lần chạy, số lần thử nghiệm thất bại là khác nhau. Tôi muốn xem thử nghiệm nào thất bại nhiều lần, nói 5 lần chạy gần nhất. Cùng với đó, tôi có thể giảm số lần thất bại thử nghiệm mà tôi phải điều tra. Những thất bại không lặp lại tất cả trong 5 lần chạy gần nhất có thể bị bỏ qua hoặc điều tra sau đó.

Ai đó có thể vui lòng đề nghị làm thế nào tôi có thể tìm ra những bài kiểm tra thất bại lặp đi lặp lại trong quá khứ N chạy không?

Bạn có thể lấy số lần thử nghiệm thất bại từ đối tượng của bản dựng trong một đường ống: bạn có thể tạo một báo cáo nhỏ và đính kèm nó vào bản dựng của mình như vậy:

@NonCPS
def getRepeatedlyFailingTests(int timesFailedAtLeast = 2) {
  currentBuild.rawBuild.getAction(hudson.tasks.junit.TestResultAction.class)
    .getFailedTests()
    // Keep only tests that failed at least twice
    .findAll { it.age >= timesFailedAtLeast }
    .collect { [ "${it.className}.${it.name}".trim(), it.age ] }
}

def saveRepeatedlyFailingTestsReport() {
  def header = [ "test", "times-failed" ]
  def records = getRepeatedlyFailingTests()
  def report = "repeatedly-failing-tests.csv"
  writeCSV file: report, records: [ header ] + records, format: CSVFormat.EXCEL
  archiveArtifacts report
}

Gọi saveRepeatedlyFailingTestsReportsau khi bạn thu thập kết quả kiểm tra của mình và bạn sẽ thấy báo cáo trong liên kết tạo tác xây dựng mới nhất của mình.

Bạn có thể sử dụng plugin Phân tích kết quả kiểm tra từ Jenkins để phân tích xu hướng kiểm tra.

Kiểm tra kết quả phân tích plugin

Hướng dẫn bằng video từ youtube

Cài đặt :

1. Trong Bảng điều khiển Jenkins, nhấp vào Quản lý Jenkins
2. Từ menu chọn Manage Plugins
3. Nhấp vào tab Có sẵn và phân tích đầu vào trong hộp Tìm kiếm bộ lọc
4. Nhấp vào hộp kiểm bên trái của thử nghiệm kết quả phân tích và nhấn Install mà không cần khởi động lại nút

Cách sử dụng :

1. Đi đến dự án và nhấp vào Cấu hình
2. Phần Goto Post-build Action và chọn Xuất bản báo cáo kết quả kiểm tra JUnit từ danh sách thả xuống Thêm hành động sau xây dựng
3. Trong trường XML báo cáo thử nghiệm cung cấp đường dẫn của xml TestNg / JUnit trong dự án. Ví dụ: **/target/test-results/*.xmltrong trường hợp của tôi
4. Lưu cấu hình
5. Sau khi xây dựng thành công, hãy xem dự án của bạn và nhấp vào Trình phân tích kết quả kiểm tra ở menu bên trái