階層型強化学習を用いたネットワークシステム脆弱性検査フレームワークの提案

近年，強化学習を用いたネットワークシステムに対するペネトレーションテスト (PT) の自動化が研究されている．しかし，多くの既存研究ではその対象として特定の環境や条件に限定しているため，より上位概念としての戦略決定で人間の経験が必要となる場合もあり，PT の完全な自動化には課題が残る．これを解決するため，戦略を含めて PT における膨大な行動数を効果的に処理する方法や，そのためにネットワークシステムの状態をできるだけ正確に学習アルゴリズムに入力する方法が必要となるが，これまで十分に議論されていなかった．本稿では，強化学習を用いたネットワークシステムに対する脆弱性検査フレームワークに向けた要素技術を提案する．その要素技術として，階層化強化学習を導入する．これにより，行動空間を上位・下位レベルに分割して抽象的な戦略と具体的な戦術を学習するとともに，それぞれが処理する状態と行動の組合せ数を抑制する．さらに，階層化強化学習でネットワークシステムの状態を観測するためにグラフニューラルネットワーク (GNN)を導入する．各要素技術に対する評価実験を通じ，GNN を用いたネットワークシステムの状態観測と階層化強化学習がそれぞれ有効に機能することを確認した．評価実験の結果をもとに，フレームワーク構築に向けた課題を考察する．

Automated penetration testing (PT) on network systems using reinforcement learning has been recently researched. However, most studies focus on limited environments and conditions, and several tasks may require human decisions. To address the problem, efficiently processing the huge number of actions in PT and accurately observing the state of complicated network systems must be required. In this paper, we propose the components of automated vulnerability assessment on network systems using reinforcement learning and discuss the framework using them. The proposed components are an action process mechanism using hierarchical reinforcement learning, in which a high-level agent determines a strategy and low-level agents determine tactics, and a state observation mechanism using a graph neural network (GNN) for hierarchical reinforcement learning. We evaluate each component in the experiments and discuss how to construct a framework collaborating the components.