So sánh hai thuật toán di truyền

Tôi có hai triển khai thuật toán di truyền được cho là hành xử tương đương. Tuy nhiên do các hạn chế kỹ thuật không thể giải quyết, đầu ra của chúng không hoàn toàn giống nhau, được đưa ra cùng một đầu vào.

Tuy nhiên, tôi muốn chứng minh rằng không có sự khác biệt đáng kể về hiệu suất.

Tôi có 20 lần chạy với cùng một cấu hình cho mỗi hai thuật toán, sử dụng các hạt số ngẫu nhiên ban đầu khác nhau. Cho mỗi lần chạy và thế hệ các lỗi tối thiểu thể dục của cá nhân tốt nhất trong dân số được ghi nhận. Thuật toán sử dụng một cơ chế bảo tồn ưu tú, do đó, thể lực của cá nhân tốt nhất đang giảm đi một cách đơn điệu. Một lần chạy bao gồm 1000 thế hệ, vì vậy tôi có 1000 giá trị mỗi lần chạy. Tôi không thể lấy thêm dữ liệu, vì các tính toán rất tốn kém.

Tôi nên sử dụng bài kiểm tra nào? Một cách dễ dàng có lẽ là chỉ so sánh lỗi trong các thế hệ cuối cùng (một lần nữa, tôi sẽ sử dụng thử nghiệm nào ở đây)? Nhưng người ta cũng có thể nghĩ về việc so sánh hành vi hội tụ nói chung.

Kiểm tra thuật toán ngẫu nhiên có thể khá khó khăn!

Tôi làm việc trong hệ thống sinh học và có nhiều mô phỏng ngẫu nhiên có sẵn để sử dụng để mô phỏng một mô hình. Kiểm tra các trình giả lập này là khó khăn vì bất kỳ hai nhận thức từ một mô hình duy nhất sẽ khác nhau.

Trong các dsmts, chúng tôi đã tính toán (phân tích) giá trị và phương sai dự kiến ​​của một mô hình cụ thể. Sau đó chúng tôi thực hiện kiểm tra giả thuyết để xác định xem một trình giả lập có khác với sự thật hay không. Phần 3 của userguide cung cấp cho các chi tiết. Về cơ bản, chúng tôi thực hiện kiểm tra t cho các giá trị trung bình và kiểm tra chi bình phương cho phương sai.

Trong trường hợp của bạn, bạn đang so sánh hai trình giả lập, vì vậy bạn chỉ nên sử dụng thử nghiệm t hai mẫu để thay thế.

Có lẽ bạn có thể đo sự khác biệt trung bình giữa hai lần chạy của cùng một thuật toán với sự khác biệt trung bình giữa hai lần chạy từ các thuật toán khác nhau. Không giải quyết vấn đề làm thế nào để đo lường sự khác biệt đó, nhưng có thể là một vấn đề dễ xử lý hơn. Và các giá trị riêng lẻ của chuỗi thời gian sẽ đưa vào tính toán chênh lệch thay vì phải được coi là các điểm dữ liệu riêng lẻ để được đánh giá với nhau (Tôi cũng không nghĩ rằng sự khác biệt cụ thể ở bước thứ n là điều bạn thực sự muốn đưa ra tuyên bố về).

Cập nhật chi tiết liên quan - bạn cũng quan tâm đến tính năng nào của chuỗi thời gian, ngoài lỗi cuối cùng? Tôi đoán bạn thực sự có ba câu hỏi khác nhau để giải quyết:

1. Điều gì tạo nên sự tương đồng cho bạn, tức là bạn có ý gì khi bạn nói rằng bạn không tin hai phương pháp này khác nhau?
2. Làm thế nào để bạn định lượng nó - có thể được trả lời sau 1, và
3. Làm thế nào bạn có thể kiểm tra sự khác biệt đáng kể giữa hai phương pháp của bạn?

Tất cả những gì tôi đã nói trong bài đầu tiên là câu trả lời cho (1) có lẽ không xem xét sự khác biệt cá nhân ở mỗi 1000 thế hệ. Và tôi khuyên bạn nên đưa ra một giá trị vô hướng cho từng chuỗi thời gian hoặc ít nhất là tương tự giữa các chuỗi thời gian. Chỉ sau đó bạn mới có được câu hỏi thống kê thực tế (mà tôi biết ít nhất về cả ba điểm, nhưng tôi được khuyên nên sử dụng bài kiểm tra t cặp trong một câu hỏi tương tự tôi vừa hỏi, khi có giá trị vô hướng cho mỗi phần tử).