Tự động kiểm tra hiệu suất XNA?

Tôi đã tự hỏi những cách tiếp cận hoặc suy nghĩ của mọi người về việc tự động hóa thử nghiệm hiệu suất trong XNA. Hiện tại tôi đang xem xét chỉ làm việc trong 2d, nhưng điều đó đặt ra nhiều lĩnh vực mà hiệu suất có thể được cải thiện với các triển khai khác nhau.

Một ví dụ sẽ là nếu bạn có 2 cách triển khai phân vùng không gian khác nhau, một cách có thể nhanh hơn cách khác nhưng không thực hiện một số thử nghiệm hiệu năng thực tế, bạn sẽ không thể biết chắc chắn cái nào (trừ khi bạn thấy mã bị chậm một cách rõ ràng các bộ phận). Bạn có thể viết một bài kiểm tra đơn vị trong một khung thời gian nhất định tiếp tục thêm / cập nhật / xóa các thực thể cho cả hai lần triển khai và xem có bao nhiêu được thực hiện trong mỗi khung thời gian và cái cao hơn sẽ là nhanh hơn (trong ví dụ cụ thể này).

Một ví dụ cấp cao hơn sẽ là nếu bạn muốn xem bạn có thể có bao nhiêu thực thể trên màn hình mà không cần xuống dưới 60fps. Vấn đề với điều này là để tự động hóa nó, bạn sẽ cần phải sử dụng thủ thuật ẩn hoặc một số thứ khác để khởi động một trò chơi giả và hoàn toàn kiểm tra những phần bạn quan tâm và vô hiệu hóa mọi thứ khác.

Tôi biết rằng đây thực sự không phải là một vấn đề đơn giản vì ngay cả khi bạn có thể tự động hóa các bài kiểm tra, thực sự sẽ tùy thuộc vào con người để giải thích nếu kết quả đủ hiệu quả, nhưng là một phần của bước xây dựng, bạn có thể chạy các bài kiểm tra này và xuất bản kết quả ở đâu đó để so sánh.

Theo cách này, nếu bạn đi từ phiên bản 1.1 đến 1.2 nhưng đã thay đổi một số thuật toán cơ bản, bạn có thể nhận thấy rằng nhìn chung điểm hiệu năng sẽ tăng lên, có nghĩa là bạn đã cải thiện hiệu suất tổng thể của ứng dụng, và sau đó từ 1.2 đến 1.3 bạn có thể nhận thấy rằng bạn đã giảm hiệu suất tổng thể một chút.

Vì vậy, có ai đã tự động loại điều này trong các dự án của họ không, và nếu vậy làm thế nào để bạn đo lường sự so sánh hiệu suất của bạn ở mức cao và bạn sử dụng khuôn khổ nào để kiểm tra? Khi cung cấp, bạn đã viết mã của mình để có thể kiểm tra / có thể thử nghiệm được đối với hầu hết các phần, bạn chỉ có thể sử dụng các thử nghiệm của mình làm cơ chế để nhận được một số kết quả hiệu suất ...

=== Chỉnh sửa ===

Để rõ ràng, tôi quan tâm nhiều hơn đến cách tốt nhất để sử dụng các thử nghiệm tự động trong XNA để theo dõi hiệu suất của bạn, không chơi thử nghiệm hoặc đoán bằng cách chạy trò chơi của bạn trên máy một cách thủ công. Điều này hoàn toàn khác với việc xem trò chơi của bạn có thể chơi được trên phần cứng X hay không, nó thiên về việc theo dõi sự thay đổi về hiệu suất khi công cụ / khung công cụ trò chơi của bạn thay đổi.

Như đã đề cập trong một trong các ý kiến, bạn có thể dễ dàng kiểm tra "tôi có thể chèn / xóa / cập nhật bao nhiêu nút trong QuadTreeA trong vòng 2 giây", nhưng bạn phải xem xét các kết quả này mỗi lần để xem nó có thay đổi không, có thể thay đổi tốt và vẫn tốt hơn là chỉ dựa vào chơi nó để xem bạn có nhận thấy sự khác biệt nào giữa các phiên bản không. Tuy nhiên, nếu bạn định đưa Assert vào để thông báo cho bạn về sự cố nếu nó xuống thấp hơn mức cho phép 5000 trong 2 giây, bạn sẽ có một bài kiểm tra dễ vỡ vì nó theo ngữ cảnh đối với phần cứng, không chỉ là việc thực hiện. Mặc dù điều đó được nói rằng các loại thử nghiệm tự động này chỉ thực sự được sử dụng nếu bạn đang chạy thử nghiệm như một loại đường ống xây dựng, tức là:

Thanh toán -> Chạy Kiểm tra đơn vị -> Chạy Kiểm tra tích hợp -> Chạy Kiểm tra hiệu suất -> Gói

Vì vậy, sau đó bạn có thể dễ dàng so sánh các số liệu thống kê từ bản dựng này với bản dựng khác trên máy chủ CI dưới dạng báo cáo thuộc loại nào đó và một lần nữa, điều này có thể không có ý nghĩa nhiều với bất kỳ ai nếu bạn không quen với Tích hợp liên tục. Mấu chốt chính của câu hỏi này là xem mọi người quản lý vấn đề này như thế nào giữa các bản dựng và cách họ thấy tốt nhất để báo cáo. Như tôi đã nói nó có thể chủ quan nhưng vì kiến ​​thức sẽ thu được từ các câu trả lời nên nó có vẻ là một câu hỏi đáng giá.

Tôi hiểu rằng bạn hoàn toàn muốn loại trừ "Chạy trò chơi thực tế", vì vậy về cơ bản, câu trả lời của tôi không đủ tiêu chuẩn. Nhưng có lẽ bạn có thể lấy một cái gì đó từ nó, vì vậy tại sao tôi đăng bài này bất kể:

Đối với luận án thạc sĩ của tôi, tôi có nhiều triển khai độc lập / song song khác nhau để đạt được điều tương tự đối với một số mô-đun của công cụ trò chơi của mình và tôi cần thực hiện một số phép đo hiệu suất. Về mặt kỹ thuật, không có gì ngăn cản tôi chạy trò chơi và nhìn vào những con số được hiển thị trong hồ sơ trên màn hình, nhưng tôi vẫn muốn tự động hóa điều đó bởi vì đó là một quá trình tẻ nhạt để thực hiện mỗi khi thay đổi triển khai của tôi.

Vì vậy, những gì tôi có là đây:

• Trình lược tả phạm vi (đặt một đối tượng lên ngăn xếp, lấy dấu thời gian khi xây dựng và một khi giải cấu trúc) được sử dụng để đo thời gian thực hiện chức năng / phạm vi quan tâm
• Một mô-đun lưu trữ một số lượng mẫu được định hình nhất định và bỏ giá trị trung bình trên n mẫu cuối cùng vào một tệp văn bản đơn giản
• Một dòng lệnh trong trò chơi có thể được sử dụng để bắt đầu trò chơi, tải bản đồ, thay đổi thuật toán được sử dụng trong mô-đun để kiểm tra, thay đổi đường dẫn của tệp kết xuất hồ sơ và nhiều nội dung khác. Dòng lệnh đã nói được thiết lập để kiểm tra một tệp đặc biệt nào đó trong thư mục thực thi và tải nó để thực thi chuỗi được lấy từ nó (như một phương tiện giao tiếp giữa các quá trình rất thô sơ)

Vì vậy, những gì điều này cho phép tôi làm là khởi chạy ứng dụng của mình từ bất kỳ môi trường tập lệnh nửa chừng nào (giả sử, dấu nhắc lệnh của windows thông qua các tập lệnh bó - nhưng tôi thực sự sử dụng Ruby cho mục đích đó), đặt đường dẫn tệp kết xuất, tải bản đồ, để lại nó chạy trong vài phút, thoát khỏi trò chơi đang chạy, đặt đường dẫn tệp kết xuất khác, chuyển thuật toán sang sử dụng, tải lại bản đồ, rửa sạch, lặp lại. Tập lệnh Ruby giao tiếp với trò chơi đang bay bằng cách tạo tệp đặc biệt đó mà mô-đun dòng lệnh đang tìm kiếm và đặt các lệnh mong muốn theo cú pháp mà dòng lệnh hiểu trong đó.

Tôi thực sự không sử dụng tích hợp liên tục vào dự án này ngay bây giờ, nhưng không có gì ngăn cản tôi tạo ra kịch bản Ruby để phân tích các bản ghi hiệu suất được tạo và sản xuất XML tương thích xUnit để giao tiếp với hệ thống CI khi hiệu suất bất ngờ xảy ra đi haywire vì một số lý do và chạy tập lệnh trên mọi bản dựng đầy đủ trên bản dựng sever.

Được rồi, trò chơi của tôi cũng không được viết bằng XNA (đó là C ++ và DirectX đơn giản), cách tiếp cận này cũng không tôn trọng thực tế là bạn không thực sự muốn chạy trò chơi trên máy chủ bản dựng của mình. Nó cũng không linh hoạt như những gì bạn có thể tìm kiếm - nhưng vẫn là một ứng dụng công nghệ thấp, gọn gàng để đo lường hiệu suất tự động có phần thân thiện với CI (với điều kiện là máy chủ xây dựng mạnh mẽ).

Chỉnh sửa: Về khoảng cách tôi đã thực sự thực hiện phương pháp đó - tôi chỉ so sánh các phép đo hiệu suất đạt được từ các triển khai khác nhau của chỉ một mô-đun này. Nhưng toàn bộ hệ thống được thiết lập theo cách cho phép tôi loại bỏ bất kỳ một trong các loại được xác định cho khung cấu hình nhẹ của mình và sử dụng môi trường tập lệnh bên ngoài để diễn giải kết quả theo bất kỳ cách nào có vẻ hữu ích ngay lúc đó. Lấy khía cạnh hồ sơ hiệu suất ra khỏi phương trình, tôi dự định tiếp tục

• Kiểm tra tính hợp lệ / tính nhất quán của tất cả các tài sản bằng cách tải tất cả các bản đồ chứa tất cả các mô hình / kết cấu / âm thanh và kiểm tra nhật ký động cơ xem có gì bất thường không
• kiểm tra căng thẳng động cơ và theo dõi nhật ký xem có bất kỳ hành vi bất ngờ nào xảy ra trong khoảng thời gian vài giờ / ngày không

Tôi không thấy những gì bạn mô tả là một công cụ hữu ích. Là một nhà phát triển, một số hiệu suất đơn giản là gần như vô dụng.

Những gì bạn muốn là lập hồ sơ mã của bạn, chia nó thành các phần logic và đo lường thời gian mỗi người sử dụng, cao điểm và trung bình. Bây giờ bạn có thể cho biết phần nào của mã đang gây ra sự cố và bạn biết nơi cần tìm tối ưu hóa.

Phần khó khăn không phải là hiệu suất thay đổi từ bản dựng này sang bản dựng khác, bạn không cần tự động để hình dung điều đó. Phần khó khăn là sự khác biệt về hiệu suất giữa các máy khác nhau, không có cách nào để ngoại suy hiệu suất từ ​​máy này sang máy khác bằng thẻ video khác, v.v.

Vì vậy, những gì bạn muốn là một tính năng điểm chuẩn để bạn có thể thực hiện một cú nhấp chuột và nhận được các số hồ sơ. Bằng cách này, bạn sẽ có thể kiểm tra nhiều máy cùng một lúc. Có một số cách để làm điều này, ví dụ, bạn có thể ghi đè đầu vào của người dùng để tiến gần đến việc chạy một phiên trò chơi bình thường nhất có thể.

Bạn cũng có thể muốn có một bài kiểm tra dài hơn để phát hiện rò rỉ bộ nhớ.