線形可解マルコフ決定過程を用いた順・逆強化学習

DOI Web Site 参考文献9件
  • 内部 英治
    株式会社国際電気通信基礎技術研究所 脳情報研究所 ブレインロボットインタフェース研究室

書誌事項

タイトル別名
  • Forward and Inverse Reinforcement Learning Based on Linearly Solvable Markov Decision Processes

抄録

連続時間系での順強化学習では最適制御則を求めるためには非線形の偏微分方程式であるハミルトン・ヤコビ・ベルマン方程式を解く必要があるが，ほとんどの場合解析的に解くことは困難である．離散時間系の定式化の場合も同様で，このことが強化学習を実問題に適用する上での問題の一つとなっている．近年，線形可解マルコフ決定過程と呼ばれる問題のクラスが提案され，目的関数を規定する即時コスト関数の一部をカルバックライブラーダイバージェンスによって表現することで，ハミルトン・ヤコビ・ベルマン方程式を線形化できることが示された．この解説では，線形可解マルコフ決定過程のロボット制御への適用について説明し，この枠組みにおいて，学習済みの制御則の合成理論に基づいた学習の高速化と観測された状態行動系列からコスト関数を推定する逆強化学習問題が実現できることを紹介する．

収録刊行物

参考文献 (9)*注記

もっと見る

関連プロジェクト

もっと見る

キーワード

詳細情報 詳細情報について

問題の指摘

ページトップへ