対戦型2048 におけるニューラルネットワークプレイヤのαβ探索による強化

「対戦型2048」は，確率的一人プレイヤゲーム「2048」を二人プレイヤゲームに拡張したものである．対戦型2048 は，攻撃側と防御側でプレイが非対称であるという特徴を持つ．対戦型2048 プレイヤにはいくつかの実装手法が報告されている．著者らはこれまでに，攻撃側プレイヤが2 と4 のタイルのどちらを置くかを自由に選べるルールのもとで，強化学習によりニューラルネットワークプレイヤを作成した．本研究では，上記で作成した評価関数とαβ 探索を組み合わせ，それぞれ探索深さd = 1, 2, 3, 4, 5, 6, 7 の攻撃側プレイヤと防御側プレイヤを総当たりで対戦し，性能の比較を行った．実験の結果より，探索深さを増やすと性能向上が見られること，双方が同じ探索深さでプレイすると深さを増やすごとに平均スコアが減少すること，タイルを動かした後の盤面を評価関数に入力した方が性能が良いことなどが分かった．

Game “2048” is a stochastic single-player game, and game “two-player 2048” is a two-player variant of 2048. An important characteristic of two-player 2048 is asymmetry between the offense and defense players. There have been several studies on this two-player 2048. The authors also developed neural-network players under the rule that the offense player can place any of the 2- and 4-tile at any position. In this study, we combined αβ-search with the neural-network evaluation functions and evaluated the performance of the players changing the search depth d = 1, 2, 3, 4, 5, 6, and 7. From the experiment results, we found that the performance of players improved when we increased the search depth, the average scores decreased when we increased the search depth of both offense and defense players, and we obtained better results when we fed the states after sliding (and before adding a new tile) to the evaluation functions.