階層強化学習を用いた説明可能なゲームAI

ゲームにおいて相手を打ち負かしたり, 高いスコアを得るような強いゲームAI の研究はこれまで多く行われているが, 特にプレイヤーを楽しませる目的では, ゲームAI には単なる強さだけが求められるわけではない. ゲームAI 分野では今後の発展として, 単なる強さを求めるのではなく, 人間プレイヤーを楽しませたり指導したりする目的を持つゲームAI の研究が課題の一つとなっている. 本研究ではゲームAI がどのような戦略に基づいて行動を決定しているのかを説明可能なシステムを実現することを目的とする. 説明可能なAI を実現するための手法は既にいくつか存在するが, それらはゲームAI に応用するのに困難な部分があるか, 解釈のしやすさに課題が残る. そこで, ゲームAI を説明するために階層強化学習を用いる手法を提案する. 実験では階層強化学習を用いてブロック崩しの環境で学習を行い, AI のとった戦略を可視化することができた.

There have been many studies on game AI that can beat opponents or get high scores in games. However, especially for the purpose of entertaining players, game AI is not only required to be strong. One of the challenges for future development in the field of game AI is to study game AI that has the purpose of entertaining or guiding human players, rather than merely seeking strength. The purpose of this study is to realize a system that can explain what strategy a game AI decides its actions by. There are already several methods to realize explainable AI, but they are difficult to apply to game AI, or they are not easy to interpret. Therefore, we propose a method using hierarchical reinforcement learning to explain game AI. In our experiments, we used hierarchical reinforcement learning in a brick breaking environment and succeeded in visualizing the strategies taken by the AI.