StyleMapを用いた事前学習済みStyleGANによる画像編集

DOI 機関リポジトリ 情報処理学会

書誌事項

タイトル別名
  • Image Editing with Pre-trained StyleGAN Using StyleMap

この論文をさがす

抄録

近年，所望の画像を再現するようにGANの潜在変数を推定するGAN Inversionという分野が注目されている．入力画像を再現する潜在変数が得られると，この潜在変数を編集することにより画像を編集することができる．しかし，入力画像と再構成画像の差分である再構成品質と，編集画像のもっともらしさである編集品質の間にはトレードオフがあることが知られている．本研究では画像全体の性質を表す潜在変数を空間方向に拡張することで再構成品質の向上を図った．次に，このような拡張が編集品質を大幅に損なうことから，追加の正則化を課することで再構成品質と編集品質を兼ね備えたGAN Inversionを行った．その結果，提案手法は定量的・定性的な観点からベースラインに対して再構成品質と編集品質のトレードオフにおいてより良い結果を得た．

Recently, the field of GAN Inversion, which estimates the latent code of a GAN to reproduce the desired image, has attracted much attention. Once a latent variable that reproduces the input image is obtained, the image can be edited by manipulating the latent code. However, it is known that there is a trade-off between reconstruction quality, which is the difference between the input image and the reproduced image, and editability, which is the plausibility of the edited image. In our study, we attempted to improve reconstruction quality by extending latent code that represents the properties of the entire image in the spatial direction. Next, since such an expansion significantly impairs the editing quality, we performed a GAN Inversion that realizes both reconstruction quality and editability by imposing an additional regularization. As a result, the proposed method yielded a better trade-off between the reconstruction quality and the editability against the baseline from both quantitative and qualitative perspectives, and is comparable to state-of-the-art(SOTA) methods that adjust the weights of the generators.

収録刊行物

キーワード

詳細情報 詳細情報について

問題の指摘

ページトップへ