Tại sao Fishtesting kiểm tra Stockfish chống lại chính nó, mà không phải các động cơ khác?

Theo tôi hiểu cái gọi là Fishtesting , mọi người viết các bản vá, sau đó thử các bản vá so với phiên bản Stockfish hiện tại. Nếu phiên bản mới hoạt động tốt hơn, nó được quảng cáo là phiên bản chính; nếu không thì nó bị từ chối.

Câu hỏi: tại sao thử nghiệm với phiên bản hiện tại của Stockfish? Nó đã hoạt động trong quá khứ và Stockfish hiện tại mạnh hơn rất nhiều so với Stockfish hai tuổi. Tuy nhiên, chúng ta cũng có thể thấy những hạn chế đối với phương pháp này. Mặc dù Stockfish hiện có khả năng phá hủy hoàn toàn các động cơ truyền thống khác, nhưng gần đây nó cũng đã mất siêu phẩm TCEC S15 trước Leela. Do đó, tại sao không thử nghiệm từng phiên bản mới chống lại Leela?

Câu trả lời rõ ràng là tài nguyên của Fishtesting đến từ CPU và Leela rất tệ về CPU. Tuy nhiên, điều đó không gây tử vong: người ta chỉ có thể cho Leela nhiều thời gian hơn, ví dụ với Stockfish chạy trên 10 giây mỗi trò chơi, cho Leela 100 giây mỗi trò chơi hoặc bất kỳ tỷ lệ cược thời gian nào là cần thiết để có tỷ lệ Leela theo tỷ lệ trên bề mặt. Điều này chắc chắn sẽ làm chậm Fishtesting, nhưng nếu nó dẫn đến một động cơ có thể đánh bại Leela trong một trận đấu, điều đó vẫn có thể đáng giá.

Trước hết, điều không rõ ràng từ các câu trả lời khác là về nguyên tắc bạn có thể sử dụng bất kỳ đối thủ nào (có sức mạnh chơi ổn định) để so sánh sức mạnh chơi của hai phiên bản của một chương trình.

Tuy nhiên, có một số lý do chính đáng để kiểm tra các phiên bản trực tiếp với nhau, bất kể bạn đang phát triển Stockfish hay bất kỳ công cụ nào khác:

• Việc so sánh sức mạnh chơi của các thực thể chơi cờ thường không đáp ứng được tính siêu việt, nghĩa là, nếu A> B và B> C, A <C vẫn có thể. Vì vậy, miễn là so sánh với một nhóm đối thủ lớn (để giải quyết vấn đề chuyển đổi) là không khả thi, thì so sánh trực tiếp phải là phép đo đáng tin cậy nhất, mặc dù tất nhiên bạn có thể có cùng một vấn đề cho ba phiên bản của một chương trình duy nhất.
• Bằng cách so sánh trực tiếp, bạn giảm số lượng trò chơi cần thiết trong thử nghiệm, bởi vì bạn chỉ cần chạy một trận đấu thay vì hai trận, đồng thời bạn nhận được các thanh lỗi nhỏ hơn cho chênh lệch cường độ chơi.
• Thử nghiệm với một đối thủ có sức mạnh tương đương (gần như) tối đa hóa độ nhạy thống kê của một kết quả trò chơi duy nhất, do đó bạn lại tiết kiệm được chi phí phần cứng. Nếu sự khác biệt về sức mạnh chơi là rất cao, thông tin / entropy của một trò chơi là rất thấp.

Hơn nữa, trong trường hợp fishtest / Stockfish, có một số lý do cụ thể tại sao chọn so sánh trực tiếp là lựa chọn nguyên tắc nhất:

• Vào thời điểm fishtest ban đầu được phát triển, Leela không có sẵn.
• Sử dụng các công cụ thương mại như Komodo và Houdini không phải là một lựa chọn vì vấn đề cấp phép.
• Sử dụng các chương trình khác có thể gây ra rủi ro bảo mật cũng như phụ thuộc phần mềm hoặc yêu cầu phần cứng bổ sung mà bạn muốn tránh trong môi trường máy tính phân tán.
• Trước Leela, về cơ bản không có công cụ nguồn mở nào đủ mạnh để có được kết quả có ý nghĩa thống kê khi phù hợp với Stockfish.

Quan điểm của việc câu cá là kiểm tra xem phiên bản mới hơn của Stockfish có trở nên mạnh hơn không . Định nghĩa của mạnh hơn là nó đánh bại phiên bản trước của nó.

Tôi không chắc việc thử nghiệm từng phiên bản mới với một động cơ như Leela sẽ giúp ích như thế nào. Ý tưởng của bạn có thể chỉ chấp nhận một phiên bản Stockfish mới nếu nó hoạt động tốt hơn với Leela so với phiên bản Stockfish trước đó đã làm. Vì vậy, bây giờ mỗi phiên bản Stockfish được đảm bảo chơi tốt hơn so với Leela, nhưng không được đảm bảo là một người chơi cờ tốt hơn nói chung. Lý do là Stockfish có thể dựa vào một số đặc điểm nhất định trong lối chơi của Leela để giành được nhiều trận đấu hơn.

EDIT - Tôi nghĩ về một ví dụ có thể giúp đỡ ở đây. Giả sử bạn đã được xếp hạng 1500 vài năm trước và bây giờ là 1800. Nếu bạn chơi bản thân trong quá khứ của mình trong một trận đấu, rõ ràng bạn sẽ thắng. Nhưng để tranh luận, có thể bản thân 1500 của bạn sẽ hoạt động tốt hơn so với Kasparov so với bản thân 1800 hiện tại của bạn. Có lẽ bản thân 1500 ít bảo thủ hơn và gặp nhiều rủi ro hơn. Điều này quản lý để đánh bại Kasparov trong một trò chơi hiếm, trong khi bản thân 1800 hiện tại của bạn sẽ thua mỗi lần (tuy nhiên các trò chơi sẽ trung bình gần hơn một chút).

Tôi sẽ đồng ý chính với @inertialignorance nhưng tôi muốn làm rõ vị trí một chút.

Khi con người đóng vai con người, kết quả của một trò chơi là tương đối vô nghĩa, do sự biến đổi cực độ của trò chơi con người. (Tôi sẽ sử dụng Kasparov v Deep Blue như một ví dụ về sự biến đổi đó - vào một ngày tốt lành, tôi có thể đánh bại Kasparov trong trò chơi mà anh ta đã bỏ qua chống lại DB.) Vì vậy, hãy bỏ qua nhân loại này và tập trung vào máy.

Máy chơi ở mức độ kỹ năng phù hợp hơn nhiều so với con người. Do đó, một trò chơi có nghĩa là nhiều hơn và một loạt các trò chơi có ý nghĩa rất lớn. Vì vậy, nó có ý nghĩa để kiểm tra cải tiến Stockfish đề xuất đối với một máy. Nhưng tại sao Stockfish?

Đơn giản là vì không có cách nào để định lượng "làm tốt hơn chống lại Leela" theo bất kỳ cách có ý nghĩa nào. Nó có thể làm tốt hơn, và vẫn thua. Nhưng tiêu chuẩn nào tốt hơn, trong trường hợp đó? Làm thế nào để bạn chứng minh nó chơi tốt hơn? Tôi không thể thấy một tiêu chuẩn khả thi.

Thật đơn giản để chứng minh Stockfish Prime là một cải tiến so với Stockfish ban đầu bằng cách chỉ cần chơi một bộ trò chơi và đếm kết quả.

Edward Deming cho rằng việc chọn số liệu chính xác là rất quan trọng, bởi vì bạn chỉ biết bạn tiến bộ vì những gì bạn đo được. Vì vậy, đặt câu hỏi: mục đích của quá trình là gì? Tại sao bạn đề xuất một bản vá cho Stockfish?

Có thực sự là mục tiêu cuối cùng của bản vá để đánh bại Leela? Hay là để làm cho Stockfish chơi cờ tốt hơn? Tôi muốn nói đó là cái sau. Đánh bại Leela sẽ tự đến nếu chỉ Stockfish tiếp tục cải thiện đủ.

Vâng, một con đường cải thiện gia tăng cho Stockfish có thể đến một cao nguyên. Mặc dù vậy, con đường duy nhất có thể kiểm chứng được từ cao nguyên đó sẽ nằm trong việc tạo ra những thay đổi cho nó làm cho nó tốt hơn. Nếu một cách tiếp cận "đập vào tường", thì việc tìm kiếm cải tiến liên tục sẽ đưa ra một con đường khác. Nếu một đường dẫn thay thế được đề xuất không thể đánh bại đường dẫn hiện tại, tại sao lại chọn nó?

Dường như có một lý do phần cứng cho việc không thực hiện thay đổi này.

Vấn đề chính với việc sử dụng Leela làm đối thủ cạnh tranh là Leela chạy tốt nhất trên GPU. Có thể chạy Leela trên CPU, nhưng hiệu suất của Leela bị ảnh hưởng rất nhiều. OP đề nghị cung cấp cho tỷ lệ cược thời gian của Leela để bù lại, nhưng tỷ lệ cược thời gian không hoạt động tốt: hiệu suất của Leela yếu đi rất nhiều đến mức tỷ lệ cược thời gian cần thiết là rất lâu.

Để có được ý tưởng về Leela trên CPU yếu hơn bao nhiêu, chúng ta có thể xem Leela trong phần 12 của TCEC, khi nó không có hỗ trợ GPU và chạy trên CPU. Đây là một trò chơi ví dụ được chơi bởi Leela . Nếu một người nhìn vào tốc độ mà nó đạt được, đó là khoảng 1-3kn / s, hoặc 1000-3000 vị trí mỗi giây. Một cách tương đối, trong phần 15 mới nhất khi Leela đang chạy trên các GPU mạnh mẽ, nó sẽ đạt được khoảng 50kn / s ( ví dụ trò chơi ). Do đó, để có thể kiểm tra Stockfish chống lại Leela theo các điều khoản ngang nhau, người ta cần cung cấp cho Leela khoảng 25 lần tỷ lệ cược thời gian. Nếu Stockfish có một phút, Leela cần 25 phút.

Vào thời điểm viết bài, các bài kiểm tra Fishtesting ở hai lần kiểm soát thời gian: 10 giây + 0,1 giây / lần di chuyển và 60 giây + 0,6 giây / lần di chuyển vượt qua lần thứ hai rồi trở thành phiên bản "mới"). Ở tỷ lệ cược thời gian 25 lần, Leela cần 250 giây + 2,5 giây / lần di chuyển trong lần kiểm soát đầu tiên và 1500 giây + 15 giây / lần di chuyển trong lần kiểm soát lần thứ hai. Sự chậm lại là rất lớn; chúng tôi thực sự sẽ có Leela chơi ở các điều khiển thời gian nhanh chóng và không phải đạn. Số lượng trò chơi có thể hoàn thành trong đơn vị thời gian cũng sẽ giảm khoảng 25 lần. Fishtesting thường xuyên cần hàng chục ngàn trò chơi để kiểm tra từng bản vá; mất 25 lần miễn là hoàn thành mỗi bài kiểm tra nghe có vẻ chậm không thể chấp nhận được.

Để thêm dầu vào lửa, theo như tôi biết, Leela đã có một mạng nhỏ hơn trong phần 12 - hiệu năng của các mạng mới nhất có thể còn chậm hơn trên CPU bây giờ.

Có thể một ngày nào đó, nếu Fishtesting lấy tài nguyên GPU để kiểm tra với Leela, nó có thể chuyển đổi; tuy nhiên chúng tôi chưa ở thời điểm đó

Chỉnh sửa : Lc0-CPU hiện đang phát tại TCEC. Nó nhận được khoảng 5knps. Theo một số người trong cuộc trò chuyện, Lc0-CPU được sửa đổi để chơi trên CPU; không thay đổi, nó chậm hơn khoảng 80 lần so với trên GPU. Do đó, có một chi phí phần cứng thực sự để sử dụng Lc0-CPU làm đối thủ thử nghiệm.

Quán tính là chính xác. Tôi cũng nên thêm rằng không có công cụ nguồn mở mạnh mẽ trước LC0. Cả Komodo và Houdini đều bị hạn chế cấp phép.