Targeted Attack and Robust Defense for Behavior Manipulation in Deep Reinforcement Learning

深層強化学習エージェントの状態観測に対して敵対的な介入を行うことで，エージェントの振る舞いを指定通りに制御することを目的とした攻撃とその防御手法を提案する．既存の攻撃手法はすべて被害者の方策に対する完全なアクセスを仮定したホワイトボックス攻撃であり，またいくつかの手法は環境特有のヒューリスティックに依存している．本研究では模倣学習を用いることで，被害者の方策へのアクセスを制限したブラックボックスまたはノーボックス設定において，環境特有のヒューリスティックを必要とせずに被害者エージェントを操作する新しい手法を提案する．また，被害者のトラジェクトリの初期であるほど，状態変化に対する方策の行動出力の敏感度が防御性能に与える影響が大きいことを理論的に示す．これに基づき，ロバストな方策を学習する方法を提案する．強化学習ベンチマークでの実証評価により，提案された攻撃と防御手法の有効性を評価する．

We propose the attack on reinforcement learning agents, where the adversary aims to control the victim's behavior as specified by the adversary by adding adversarial modifications to the victim's state observation and the defense against such an attack. While some attack methods have successfully manipulated the victim agent's behavior, all are white-box attacks that require full access to the victim's policy, and some rely on environment-specific heuristics. Using imitation learning, we propose new methods to manipulate the victim agent in a black-box or no-box setting, which assumes limited access to the victim's policy without requiring environment-specific heuristics. We also show theoretically that the earlier in the trajectory, the more the sensitivity of policy outputs to state changes affects defense performance. Based on this, we propose a method for learning a robust policy. Empirical evaluations on a reinforcement learning benchmark show that our proposed method outperforms the baselines.