Automatic Action Scripts Generation for VirtualHome from Abstract Task Descriptions Utilizing LLM

DOI

Bibliographic Information

Other Title
  • LLMを活用した抽象的なタスク記述からのVirtualHomeのためのアクションスクリプト自動生成

Abstract

<p>家庭シミュレータVirtualHome（VH）では，アクションとその対象オブジェクトから構成されるアクションスクリプトに基づいてエージェントを三次元仮想空間内で行動させることができる．アクションスクリプトを手作業で作成することは直感的でなく，自然言語文で与えることができればユーザの意図や要求をより容易に記述することができる．自然言語文からアクションスクリプトを自動生成する研究はされているが，実行可能なアクションスクリプトの割合は約40%である．我々は，日常生活の詳細な記述を入力として，エージェントがVH上で実行可能なアクションスクリプトを生成するシステムを提案してきた．しかし，日常生活の詳細な記述をする際に，VH上に存在するオブジェクトやエージェントが実行可能なアクションを考慮する手間があった．本研究では，抽象的なタスク記述を入力として，エージェントがVH上で実行可能なアクションスクリプトを生成することを目的とする．本提案システムでは，LLMを用いて抽象的なタスク記述から日常生活の詳細な記述を生成する過程を導入する．また，評価実験では，正解データとの類似度と実行率を評価する．</p>

Journal

Details 詳細情報について

Report a problem

Back to top