Thực hiện các bài kiểm tra đơn vị nối tiếp (thay vì song song)

Tôi đang cố gắng kiểm tra đơn vị một công cụ quản lý máy chủ WCF mà tôi đã viết. Về cơ bản, engine tạo ra các phiên bản ServiceHost một cách nhanh chóng dựa trên cấu hình. Điều này cho phép chúng tôi định cấu hình lại động những dịch vụ nào khả dụng mà không cần phải gỡ bỏ tất cả và khởi động lại chúng bất cứ khi nào một dịch vụ mới được thêm vào hoặc một dịch vụ cũ bị xóa.

Tuy nhiên, tôi đã gặp khó khăn trong việc kiểm tra đơn vị công cụ quản lý máy chủ này do cách hoạt động của ServiceHost. Nếu một ServiceHost đã được tạo, mở và chưa đóng cho một điểm cuối cụ thể, thì không thể tạo một ServiceHost khác cho cùng một điểm cuối, dẫn đến một ngoại lệ. Vì thực tế là các nền tảng kiểm thử đơn vị hiện đại song song thực hiện thử nghiệm của chúng, tôi không có cách nào hiệu quả để kiểm tra đơn vị đoạn mã này.

Tôi đã sử dụng xUnit.NET, hy vọng rằng do khả năng mở rộng của nó, tôi có thể tìm ra cách để buộc nó chạy các thử nghiệm nối tiếp nhau. Tuy nhiên, tôi chưa gặp may mắn. Tôi hy vọng rằng ai đó ở đây trên SO đã gặp phải sự cố tương tự và biết cách làm cho các bài kiểm tra đơn vị chạy nối tiếp.

LƯU Ý: ServiceHost là một lớp WCF, được viết bởi Microsoft. Tôi không có khả năng thay đổi hành vi của nó. Lưu trữ mỗi điểm cuối dịch vụ chỉ một lần cũng là hành vi thích hợp ... tuy nhiên, nó không đặc biệt có lợi cho việc thử nghiệm đơn vị.

Mỗi lớp thử nghiệm là một tập hợp thử nghiệm duy nhất và các thử nghiệm dưới lớp đó sẽ chạy theo trình tự, vì vậy nếu bạn đặt tất cả các thử nghiệm của mình vào cùng một tập hợp thì nó sẽ chạy tuần tự.

Trong xUnit, bạn có thể thực hiện các thay đổi sau để đạt được điều này:

Sau đây sẽ chạy song song:

namespace IntegrationTests
{
    public class Class1
    {
        [Fact]
        public void Test1()
        {
            Console.WriteLine("Test1 called");
        }

        [Fact]
        public void Test2()
        {
            Console.WriteLine("Test2 called");
        }
    }

    public class Class2
    {
        [Fact]
        public void Test3()
        {
            Console.WriteLine("Test3 called");
        }

        [Fact]
        public void Test4()
        {
            Console.WriteLine("Test4 called");
        }
    }
}

Để làm cho nó tuần tự, bạn chỉ cần đặt cả hai lớp thử nghiệm trong cùng một tập hợp:

namespace IntegrationTests
{
    [Collection("Sequential")]
    public class Class1
    {
        [Fact]
        public void Test1()
        {
            Console.WriteLine("Test1 called");
        }

        [Fact]
        public void Test2()
        {
            Console.WriteLine("Test2 called");
        }
    }

    [Collection("Sequential")]
    public class Class2
    {
        [Fact]
        public void Test3()
        {
            Console.WriteLine("Test3 called");
        }

        [Fact]
        public void Test4()
        {
            Console.WriteLine("Test4 called");
        }
    }
}

Để biết thêm thông tin, bạn có thể tham khảo liên kết này

Như đã nêu ở trên, tất cả các bài kiểm tra đơn vị tốt nên được cách ly 100%. Sử dụng trạng thái chia sẻ (ví dụ: tùy thuộc vào thuộc statictính được sửa đổi theo từng thử nghiệm) được coi là hành vi xấu.

Đã nói rằng, câu hỏi của bạn về việc chạy các bài kiểm tra xUnit theo trình tự đã có câu trả lời! Tôi gặp chính xác vấn đề tương tự vì hệ thống của tôi sử dụng bộ định vị dịch vụ tĩnh (ít hơn lý tưởng).

Theo mặc định xUnit 2.x chạy tất cả các thử nghiệm song song. Điều này có thể được sửa đổi trên mỗi assembly bằng cách xác định CollectionBehaviortrong AssemblyInfo.cs trong dự án thử nghiệm của bạn.

Để sử dụng phân tách từng cụm:

using Xunit;
[assembly: CollectionBehavior(CollectionBehavior.CollectionPerAssembly)]

hoặc hoàn toàn không sử dụng song song:

[assembly: CollectionBehavior(DisableTestParallelization = true)]

Cái sau có lẽ là cái bạn muốn. Có thể tìm thêm thông tin về cấu hình và song song trên tài liệu xUnit .

Đối với các dự án .NET Core, hãy tạo xunit.runner.jsonbằng:

{
  "parallelizeAssembly": false,
  "parallelizeTestCollections": false
}

Ngoài ra, bạn csprojnên chứa

<ItemGroup>
  <None Update="xunit.runner.json"> 
    <CopyToOutputDirectory>PreserveNewest</CopyToOutputDirectory>
  </None>
</ItemGroup>

Đối với các dự án .Net Core cũ, bạn project.jsonnên chứa

"buildOptions": {
  "copyToOutput": {
    "include": [ "xunit.runner.json" ]
  }
}

Đối với các dự án .NET Core, bạn có thể định cấu hình xUnit bằng một xunit.runner.jsontệp, như được ghi lại tại https://xunit.github.io/docs/configuring-with-json.html .

Cài đặt bạn cần thay đổi để dừng thực thi thử nghiệm song song là parallelizeTestCollections, mặc định là true:

Đặt giá trị này thành truenếu lắp ráp sẵn sàng chạy các thử nghiệm bên trong lắp ráp này song song với nhau. ... Đặt điều này để falsetắt tất cả song song trong cụm thử nghiệm này.

Loại lược đồ JSON: boolean
Giá trị mặc định:true

Vì vậy, mức tối thiểu xunit.runner.jsoncho mục đích này trông giống như

{
    "parallelizeTestCollections": false
}

Như đã lưu ý trong tài liệu, hãy nhớ bao gồm tệp này trong bản dựng của bạn, bằng cách:

• Đặt Copy to Output Directory to Copy nếu mới hơn trong Thuộc tính của tệp trong Visual Studio, hoặc

• Thêm

  <Content Include=".\xunit.runner.json">
    <CopyToOutputDirectory>PreserveNewest</CopyToOutputDirectory>
  </Content>

  vào .csprojtệp của bạn , hoặc

• Thêm

  "buildOptions": {
    "copyToOutput": {
      "include": [ "xunit.runner.json" ]
    }
  }

  vào project.jsontệp của bạn

tùy thuộc vào loại dự án của bạn.

Cuối cùng, ngoài những điều trên, nếu bạn đang sử dụng Visual Studio thì hãy đảm bảo rằng bạn không vô tình nhấp vào nút Chạy thử nghiệm trong song song , nút này sẽ khiến các thử nghiệm chạy song song ngay cả khi bạn đã tắt chế độ song song xunit.runner.json. Các nhà thiết kế giao diện người dùng của Microsoft đã khéo léo làm cho nút này không được gắn nhãn, khó nhận thấy và cách nút "Chạy tất cả" khoảng một cm trong Test Explorer, chỉ để tối đa hóa cơ hội bạn sẽ nhấn nhầm và không biết tại sao các thử nghiệm của bạn đột nhiên không thành công:

Đây là câu hỏi cũ nhưng tôi muốn viết một giải pháp cho những người mới tìm kiếm như tôi :)

Lưu ý: Tôi sử dụng phương pháp này trong các bài kiểm tra tích hợp Dot Net Core WebUI với xunit phiên bản 2.4.1.

Tạo một lớp trống có tên NonParallelCollectionDefinitionClass và sau đó cung cấp thuộc tính CollectionDefinition cho lớp này như bên dưới. (Phần quan trọng là DisableParallelization = true setting.)

using Xunit;

namespace WebUI.IntegrationTests.Common
{
    [CollectionDefinition("Non-Parallel Collection", DisableParallelization = true)]
    public class NonParallelCollectionDefinitionClass
    {
    }
}

Sau đó thêm thuộc tính Collection vào lớp mà bạn không muốn nó chạy song song như bên dưới. (Phần quan trọng là tên của bộ sưu tập. Nó phải giống với tên được sử dụng trong CollectionDefinition)

namespace WebUI.IntegrationTests.Controllers.Users
{
    [Collection("Non-Parallel Collection")]
    public class ChangePassword : IClassFixture<CustomWebApplicationFactory<Startup>>
    ...

Khi chúng tôi làm điều này, trước hết các thử nghiệm song song khác sẽ chạy. Sau đó, các bài kiểm tra khác có thuộc tính Bộ sưu tập ("Bộ sưu tập không song song") sẽ chạy.

bạn có thể Sử dụng Danh sách phát

nhấp chuột phải vào phương pháp kiểm tra -> Thêm vào danh sách phát -> Danh sách phát mới

thì bạn có thể chỉ định thứ tự thực hiện, mặc định là như vậy, khi bạn thêm chúng vào danh sách phát nhưng bạn có thể thay đổi tệp danh sách phát theo ý muốn

Tôi không biết chi tiết, nhưng có vẻ như bạn đang cố gắng thực hiện thử nghiệm tích hợp hơn là thử nghiệm đơn vị . Nếu bạn có thể tách biệt phần phụ thuộc vào ServiceHost, điều đó có thể sẽ giúp việc thử nghiệm của bạn dễ dàng hơn (và nhanh hơn). Vì vậy, (ví dụ) bạn có thể kiểm tra những điều sau một cách độc lập:

• Lớp đọc cấu hình
• Nhà máy ServiceHost (có thể là một thử nghiệm tích hợp)
• Lớp động cơ có một IServiceHostFactoryvà mộtIConfiguration

Các công cụ sẽ giúp bao gồm các khung cô lập (mô phỏng) và (tùy chọn) các khung chứa IoC. Xem:

• http://www.mockobjects.com/
• http://www.hanselman.com/blog/ListOfNETDependencyInjectionContainersIOC.aspx

Có thể bạn có thể sử dụng Kiểm tra đơn vị nâng cao . Nó cho phép bạn xác định trình tự mà bạn chạy thử nghiệm . Vì vậy, bạn có thể phải tạo một tệp cs mới để lưu trữ các thử nghiệm đó.

Đây là cách bạn có thể bẻ cong các phương pháp kiểm tra để hoạt động theo trình tự bạn muốn.

[Test]
[Sequence(16)]
[Requires("POConstructor")]
[Requires("WorkOrderConstructor")]
public void ClosePO()
{
  po.Close();

  // one charge slip should be added to both work orders

  Assertion.Assert(wo1.ChargeSlipCount==1,
    "First work order: ChargeSlipCount not 1.");
  Assertion.Assert(wo2.ChargeSlipCount==1,
    "Second work order: ChargeSlipCount not 1.");
  ...
}

Hãy cho tôi biết liệu nó có hoạt động không.

Đối với tôi, trong ứng dụng .Net Core Console, khi tôi muốn chạy đồng bộ các phương pháp kiểm tra (không phải các lớp), giải pháp duy nhất hoạt động được mô tả trong blog này: xUnit: Kiểm soát Thứ tự Thực thi Kiểm tra

Tôi đã thêm thuộc tính [Bộ sưu tập ("Tuần tự")] trong một lớp cơ sở:

    namespace IntegrationTests
    {
      [Collection("Sequential")]
      public class SequentialTest : IDisposable
      ...


      public class TestClass1 : SequentialTest
      {
      ...
      }

      public class TestClass2 : SequentialTest
      {
      ...
      }
    }

Không có câu trả lời được đề xuất nào cho đến nay phù hợp với tôi. Tôi có một ứng dụng lõi dotnet với XUnit 2.4.1. Tôi đã đạt được hành vi mong muốn với một giải pháp thay thế bằng cách đặt một khóa trong mỗi bài kiểm tra đơn vị. Trong trường hợp của tôi, tôi không quan tâm đến thứ tự chạy, chỉ cần các bài kiểm tra là tuần tự.

public class TestClass
{
    [Fact]
    void Test1()
    {
        lock (this)
        {
            //Test Code
        }
    }

    [Fact]
    void Test2()
    {
        lock (this)
        {
            //Test Code
        }
    }
}