2018年12月16日

技巧2定跡ONの測定

RRateを充実させたくて技巧2も測定することにしました
少し古いソフトなので普通に測っても面白くないかと思い技巧2は定跡ONで測定することにしました
このシリーズはTwitterにはアップしていませんが、RRateのデータには含まれています 随時追記予定

illqha11_dolphin1_vs_gikou2_bookon_24T09Sec.pngillqha11_dolphin1_vs_gikou2_bookon_24T09Sec.7z

ponpoko_SDT5_vs_Gikou2_bookON_24T09Sec.pngponpoko_SDT5_vs_Gikou2_bookON_24T09Sec.7z

elmo_WCSC27_YO473_vs_gikou2_BookON_24T09Sec.pngelmo_WCSC27_YO473_vs_gikou2_BookON_24T09Sec.7z

2018/12/17追記
elmo_WCSC27_YO453_vs_gikou2_bookON_24T09Sec.pngelmo_WCSC27_YO453_vs_gikou2_bookON_24T09Sec.7z

2018年12月07日

AlphaZeroShogiの再臨 棋譜と戦型分類

Science誌にAlphaZeroの論文が掲載されました




そこで戦型を調べてみました



elmoはWCSC27の時の定跡をONにして対局が行われたようでそれについての考察



羽生竜王が選んだ10局の戦型分類


羽生善治竜王が多忙の中、100局の将棋を精査し、10局の特選譜が示されています。驚くべきことだと思います。

https://deepmind.com/blog/alphazero-shedding-new-light-grand-games-chess-shogi-and-go/
羽生竜王はコメントを寄せています
「Some of its moves, such as moving the King to the centre of the board, go against shogi theory and - from a human perspective - seem to put AlphaZero in a perilous position. But incredibly it remains in control of the board. Its unique playing style shows us that there are new possibilities for the game."」
Yoshiharu Habu, 9-dan professional, only player in history to hold all seven major shogi titles
(上記URLより)
僭越ながら私が翻訳したのが下記
「玉を盤の中央に移動させるような指し回しは人間からすると棋理に反するものであり、
あたかもアルファゼロが自ら危険な場所へ飛び込んでいるようにすら見えます。
しかも信じられないことに局面の主導権を握ったままで。
AlphaZeroのユニークな指し回しは、将棋の新しい可能性を示しているように思います。」

「棋譜の管理」でそのまま読み込めるKIFファイルをZIP形式に圧縮したものを公開します



元々公開された棋譜はCSA形式で、ノード数、探索深さ、指し手候補手などの付加情報は含まれていません
これは例えばレーティング測定棋譜ファイルに比べると情報量が少ないことを意味しています



#RRateプロジェクトを利用したAlphaZeroShogiのレーティング推測(2018/12/8追記)
レートはR4500級と推定されました




論文で示された測定条件
To evaluate performance in shogi, we used Elmo version WCSC27 in combination with
YaneuraOu 2017 Early KPPT 4.79 64AVX2 TOURNAMENT as a baseline program, using 44
CPU threads (on two 2.2GHz Intel Xeon Broadwell CPUs with 22 cores) and a hash size of
32GB with the usi options of EnteringKingRule set to CSARule27, MinimumThinkingTime
set to1000, BookFile set to standardbook.db, BookDepthLimit set to 0 and BookMoves set to 200.
Additionally, we also evaluated against Aperyqhapaq combined with the same YaneuraOu version and no book file.
For Aperyqhapaq, we used the same usi options as for Elmo except for the book setting.


ここから見ると使われたやねうら王のバージョンは4.79、
elmoにおいては定跡をONにし200手まで定跡と一致すれば定跡を採用するように設定されていることが読み取れます。
Aperypaqの対局では定跡はOFFになっているようです。
Hashサイズも十分なサイズが確保されCPUも強力なものがあてがわれています。

以下、NNUEkaiの作者たややんさんと私のやり取り







価格は市場の影響を受けるため消費電力で比較するのが妥当だと思うのですが、AlphaZero側が3倍以上電力を消費する条件であることが判明しました。フェアとは言えないと思います。

やねうら王さんのコメント




Aperyの開発者平岡さんのツイート


AlphaZeroは入玉ルールにバグがあり、宣言勝ちできた2局(75,100番)で投了してしまって勝率を落としていると指摘されています
流石の指摘です
入玉宣言法というゲーム専用のルールを教えていない(アルゴリズム的に学習不可能と思われる)なことに起因する本質的な問題でしょうか

おまけ




あのScience誌にeloqhappaが掲載される衝撃は分かる人には分かると思います…(笑)

2018年12月04日

R4360クラスNNUEkai7の測定データと独自レーティング表RRate

orqhaの公開からおよそ2か月、トップレートを更新するソフトが現れました

たややんさん(https://twitter.com/tayayan_ts)の作られたNNUEkai7です
R4360の最高レートを記録しました

orqhaの計測データについての記事

まずはNNUEkai7を用いて4379局対局させたデータを加味した独自レーティング表RRateが下図です
RRate201812040835sel.png
レート計算の基幹部分にはQhapaqさんのスクリプトを使用しています

【測定データ】
ファイル名のリンクから棋譜ファイルをダウンロードすることが出来ます

@ベンチマークillqha1.1と
NNUEkai7_dolphin1_vs_illqha11_dolphin1_21T095Sec.png

A2か月トップレートを維持してきたorqhaと
NNUEkai7_dolphin1_vs_orqha0727_dolphin1_21T095Sec.png

Bシリーズ前作との同門対決
NNUEkai7_dolphin1_vs_NNUEkai6_dolphin2_21T095Sec.png

CKPPTの雄と
NNUEkai7_dolphin1_vs_QQR_GW_24T09Sec.png

Dillqhaシリーズの2作目と
NNUEkai7_dolphin1_vs_illqha2_dolphin2_21T095Sec.png

Eニコニコ生放送でおなじみの電王ぽんぽこと
NNUEkai7_dolphin1_vs_ponpoko_SDT5_21T095Sec.png
ファイル名が間違えています NNUEとKPPTの対戦なので正しくは末尾24T09Secでした

F同門の変わり種と
NNUEkai7_dolphin1_vs_NNUEkaiF_dolphin1_21T095Sec.png

GAlphaZeroの論文に登場したelmoと
NNUEkai7_dolphin1_vs_elmo_WCSC27_YO473_24T09Sec.png

計測条件は
Hash=4GB,定跡オフ,Ponderオフ,投了値3000,引き分け256手
NNUE同士の場合 21T0.95秒
NNUEvsKPPTおよびKPPT同士の場合 24T0.9秒

【考察】
NNUEkai7は定跡を使わない条件において横歩取りの不利になる手順を回避できておらず、勝ち星を損なっていることが示唆されています
個人的にはこの点がクリアできればレートが4400に近づいても何ら不思議ではないと考えています

【参考】







2018/12/16追記