Multi-Agent Reinforcement Learning with Assistive Agents

複数のエージェントを同時に学習させる強化学習手法であるマルチエージェント強化学習は現実世界への応用を考える際に非常に重要であり, 近年研究が盛んに行われている. マルチエージェント強化学習に用いられるアルゴリズムはしばしば複数のエージェントを特に区別せずに学習を行うことが多い. その結果, 複数のエージェントが同じような行動をとってしまい, 一定の報酬は獲得できるものの, 報酬を最大化するような方策を学習できず局所的最適解に陥ってしまう場合がある. 本研究においては, 各エージェントの報酬の共有のされ方に着目し, 各エージェントを区別して扱うために, 自身の報酬よりむしろ他者の報酬を獲得することを目指す補助的なエージェントを導入することを提案する. 実験環境としては, 協調的なマルチエージェント強化学習の環境であるPressurePlate を選択し, 提案手法の効果の検証を行った. その結果として, 提案手法により既存手法と比較して性能が向上することが確認された.

Multi-agent reinforcement learning, which is a reinforcement learning method to train multiple agents simultaneously, is very important for real-world applications and has been studied extensively in recent years. Algorithms used in multi-agent reinforcement learning often train multiple agents without distinguishing between them. As a result, the multiple agents may behave in the same way, and although a certain reward can be obtained, it may not be possible to learn a strategy to maximize the reward, resulting in a locally optimal solution. In this study, we focus on how the rewards are shared by each agent and propose to introduce an assistive agent that aims to obtain others’ rewards rather than its own rewards, in order to treat each agent differently. As an experimental environment, we selected PressurePlate, an environment for cooperative multi-agent reinforcement learning, to verify the effectiveness of the proposed method. As a result, it is confirmed that the proposed method improves the performance compared with the existing methods.