二段階生成モデルによるスケッチベースの錆テクスチャ生成手法の提案

コンピュータで合成された画像は，写実性の観点においてテクスチャに大きく依存する．本研究では，実世界でよく見られる錆テクスチャに着目し，ユーザスケッチを入力とする錆テクスチャ生成システムを提案する．まず，錆テクスチャを制御マップに変換し，大規模変動や非局所的な特徴を抽出する．そして制御マップをスケッチデータに変換し，大局的な形状情報を抽出する．これにより，錆テクスチャから制御マップとスケッチを得る．この2 つの画像と元の錆テクスチャから構築した学習データセットを用いて，ユーザスケッチから複雑な構造を持つ錆テクスチャを生成するための二段階の生成モデルを学習する．以上の提案手法を利用して，ユーザスケッチから錆テクスチャを生成するシステムを実装し，生成される錆テクスチャの入力スケッチとの忠実性，錆テクスチャとしての写実性，多様性について評価する．: Computer-generated images are highly dependent on texture in terms of realism. In this study, we focus on rust textures commonly found in the real world and propose a rust texture generation system using user sketches as input. First, the rust texture is converted into a control map to extract large-scale variations and nonlocal features. Then, the control map is converted to sketch data to extract global shape information. With the control map and sketch from the rust texture. we constructed the training dataset for texture image generation. A two-stage generative model is proposed to generate a rust texture with a complex structure from a user sketch. Using the proposed method, we implemented a prototype system that generates rust textures from user sketches, and evaluated the fidelity of the generated rust textures to the input sketches, their realism and diversity as rust textures.

画像電子学会 第303回研究会 in 広島, 2023年2月21日-2月22日.

identifier:https://dspace.jaist.ac.jp/dspace/handle/10119/18200