WCSC29後の最強将棋フリーソフトの探索

WCSC29が終了しました。今回も本当に面白い大会で楽しませていただきました。関係者の皆さんどうもありがとうございました。
Qhapaqさんに計測の部分で協力させていただきましたのでずっとQhapaqさんのソフトを応援しながらの観戦でした。

Qhapaq di molto(QDM)の最終結果は5位でした　本当にお疲れ様でしたと申し上げたいです
定跡戦略のワクワクする構想をQhapaqさんから直接お聞きしながら検証していくのは本当に面白かったです

さて、大会後の世界でどのソフトを今後検討に使っていけばよいか検証する必要があります
そこでCore i9 7980XEを用いて18スレッド1秒探索(1手1500万局面程度)でレーティング測定を行いました
計算資源に限りがありますので網羅的なものではなくSOTA周りのみの検証とします

測定設定→Hash=4GB,Book,PonderOff,Resign3000,MaxMovestoDraw=320

最新のRRate(単一環境の自家計測のみでレーティングサイトと同じ統計処理を施したレーティング表)
現在の最強ソフト(SOTA)はKristallweizenです
RRate20190515_1838_Sel_KrSOTA.png

【R4400付近に発生している３すくみの図解】
地獄みたいな３すくみ2.jpg

【測定結果】(画像の下のリンクは棋譜ファイルの圧縮ファイルへのリンクです)
Kristallweizen　WCSC29　2位
illqha4_dolphin1_vs_Kristallweizen_dolphin1_18T1Sec.pngillqha4_dolphin1_vs_Kristallweizen_dolphin1_18T1Sec.7z

Kristallweizen_WCSC29_dolphin1_vs_orqha1018_dolphin1_18T1Sec.pngKristallweizen_WCSC29_dolphin1_vs_orqha1018_dolphin1_18T1Sec.7z
※Kristallweizenはorqha1018に負け越しでレーティングを下げる結果となった

Kristallweizen_WCSC29_dolphin1_vs_NNUEkaiX_dolphin1_18T1Sec.pngKristallweizen_WCSC29_dolphin1_vs_NNUEkaiX_dolphin1_18T1Sec.7z

Kristallweizen_WCSC29_dolphin1_vs_illqha11_dolphin1_18T1Sec.pngKristallweizen_WCSC29_dolphin1_vs_illqha11_dolphin1_18T1Sec.7z

Kristallweizen_WCSC29_dolphin1_vs_Qhapaq_WCSC29_dolphin1_18T1Sec.pngKristallweizen_WCSC29_dolphin1_vs_Qhapaq_WCSC29_dolphin1_18T1Sec.7z

Kristallweizen_WCSC29_dolphin1_vs_elmo_WCSC29_dolphin1_18T1Sec.pngKristallweizen_WCSC29_dolphin1_vs_elmo_WCSC29_dolphin1_18T1Sec.7z

illqha4
orqha1018_dolphin1_vs_illqha4_dolphin1_18T1Sec.png
orqha1018_dolphin1_vs_illqha4_dolphin1_18T1Sec.7z

Qh0426_dolphin1_vs_illqha4_dolphin1_18T1Sec.pngQh0426_dolphin1_vs_illqha4_dolphin1_18T1Sec.7z

illqha4_dolphin1_vs_NNUEkaiX_dolphin1_18T1Sec.pngillqha4_dolphin1_vs_NNUEkaiX_dolphin1_18T1Sec.7z

illqha4_dolphin1_vs_illqha11_dolphin1_18T1Sec.pngillqha4_dolphin1_vs_illqha11_dolphin1_18T1Sec.7z

Qhapaq di molto(QDM)=Qhapaq_WCSC29=Qh0426　WCSC29 5位
orqha1018_dolphin1_vs_Qh0426_dolphin1_18T1Sec.png
orqha1018_dolphin1_vs_Qh0426_dolphin1_18T1Sec.7z

elmo　WCSC29　4位
illqha4_dolphin1_vs_elmo_WCSC29_dolphin1_18T1Sec.pngillqha4_dolphin1_vs_elmo_WCSC29_dolphin1_18T1Sec.7z

※elmo2019(0506)はWCSC29後に作成されたバージョン　強さはelmo_WCSC29(0501)が勝るとみられる
illqha4_dolphin1_vs_elmo2019_dolphin1_18T1Sec.pngillqha4_dolphin1_vs_elmo2019_dolphin1_18T1Sec.7z

大合神クジラちゃん(GodWhale_WCSC29)　WCSC29 11位
orqha1018_dolphin1_vs_GodWhale_WCSC29_18T1Sec.pngorqha1018_dolphin1_vs_GodWhale_WCSC29_18T1Sec.7z

探索部にdolphin1を用いて評価関数のみを評価　dolphin1を使用した方が高いレートを示した
illqha4_dolphin1_vs_GodWhale_WCSC29_dolphin1_18T1Sec.pngillqha4_dolphin1_vs_GodWhale_WCSC29_dolphin1_18T1Sec.7z

狸王(tanuki-_WCSC29)　WCSC29　3位
①狸王のみ定跡ON　探索部は付属の"0"を使用（1スレッド10秒で探索部パラメータ調整の方）
illqha4_dolphin1_vs_tanuki-_WCSC29_0_BookON_18T1Sec.pngillqha4_dolphin1_vs_tanuki-_WCSC29_0_BookON_18T1Sec.7z

②狸王は評価関数のみ使用。探索はどちらもdolphin1 BookOff
illqha4_dolphin1_vs_tanuki-_WCSC29_dolphin1_18T1Sec.pngillqha4_dolphin1_vs_tanuki-_WCSC29_dolphin1_18T1Sec.7z

水匠　WCSC29　7位
Kristallweizen_WCSC29_dolphin1_vs_Suisho_WCSC29_18T1Sec.pngKristallweizen_WCSC29_dolphin1_vs_Suisho_WCSC29_18T1Sec.7z

Suisho_WCSC29_dolphin1_vs_orqha1018_dolphin1_18T1Sec.pngSuisho_WCSC29_dolphin1_vs_orqha1018_dolphin1_18T1Sec.7z

振電(水匠の作者が作った振り飛車評価関数。NNUEkaiXFの後継)
Sinden_dolphin1_vs_illqha11_dolphin1_18T1Sec.pngSinden_dolphin1_vs_illqha11_dolphin1_18T1Sec.7z
illqha1.1相手に奮わず、レーティングはNNUEkaiXFを下回る結果になりました

【評価関数の入手先】

Kristallweizen　WCSC29　2位



水匠　WCSC29　7位



illqha4



Qhapaq di molto(QDM)=Qhapaq_WCSC29　WCSC29 5位



狸王(tanuki-_WCSC29)　WCSC29　3位



elmo　WCSC29　4位



大合神クジラちゃん　WCSC29 11位
http://garnet-alice.net/

振電





WCSC29の結果
http://www2.computer-shogi.org/wcsc29/

統計処理について
統計処理スクリプトはQRLのものを統計処理部分以外を少しだけ改変(出力HTMLの整形など)して用いています
つまり基本的には同じものです
RRateの基準レートはdolphin1/illqha1.1でここのレートをQRLに合わせています

測定条件について
今回より引き分け手数をWCSCと同じ320手とし、Max Moves to Drawも320に設定することとしました
320手に伸ばすことで目に見えて手数制限の持将棋が減少し測定のS/N比が向上しました

またQhapaqさんのお手伝いをしている中でResignを5000にしてみたところ
平均手数が134手→143手とおよそ10手ほど伸びることが分かりました
これは1棋譜当たりの所要時間が10秒伸びることを意味しています
数百の計測を行うことを考えるとやはり無視できない数値ですので
短い時間でより多くの計測を行いたいレーティング測定ではResignは3000のまま据え置くことにしました

謝辞
素晴らしい将棋ソフトを開発し公開して下さった作者の皆様に謝意を表します

この記事へのコメント

  • だき

    いつも公開後素早い計測参考になります。
    個人的にwcsc29のもので、大会ではなかった、対振りに対して強いもの、独自の対策なども気になります。
    具体的には、NNUEkaiXFとの勝率とかも面白そうだなぁと思いコメントさせていただきました。検討していただければ幸いです！
    2019年05月06日 20:25

  • ロタ

    だきさんコメントありがとうございます
    新しい振り飛車関数も出てくると思いますのでそちらを計測するつもりでいます（たややんさんの振電など）
    振り飛車関数のSOTAが何なのかは見てみたいと思っています
    2019年05月07日 06:49

  • kisk

    こちらからコメント失礼します。
    最近のソフトの中で、vs振り飛車のとき居飛車側ではillqhaが勝率が高く、バランス型に特化している、等の意見を目にし、検証を試みようと考えたのですが、振り飛車側は定跡で振らせるのか、自ら振り飛車を指すソフトどちらが適していると思われますでしょうか。
    2019年05月11日 00:51

  • ロタ

    kiskさんコメントありがとうございます

    元から振り飛車を指す評価関数が良いのではないかと思いますが
    どちらがいいかは分からないです
    2019年05月11日 08:31
コメントを書く