マルチモーダル学習を用いたリビングルーム画像のパーソナライズド感性検索

DOI Web Site
  • 小林 菜穂子
    電気通信大学大学院情報理工学研究科
  • 高橋 裕樹
    電気通信大学大学院情報理工学研究科 電気通信大学人工知能先端研究センター

書誌事項

タイトル別名
  • Personalized Kansei Retrieval of Living Room Images by Multimodal Learning
  • マルチモーダル ガクシュウ オ モチイタ リビングルーム ガゾウ ノ パーソナライズド カンセイ ケンサク

この論文をさがす

抄録

<p>本論文では，不動産ポータルサイトにおいて直感的に希望の物件が検索できるよう，感性語を用いてリビングルーム画像の検索を行う感性検索手法を提案する．提案手法はConv-DCCAE（Deep Canonically Correlated Auto-Encoders）とランキングモデルを組み合わせた二段階の学習モデルを用いる．学習の際には，アンカー画像，アンカー画像の印象を表す感性語の正例とアンカー画像の印象と異なる感性語の負例を一組にして入力する．まず，Conv-DCCAEを用いて感性語と画像の関係性を学習し，共通空間に射影する．次にランキングモデルを学習し，共通空間上でアンカーに対して正例の距離が小さく，負例の距離が大きくなるように補正した感性検索空間を構築する．また，適合性フィードバックを用いてランキングモデルを再学習することで，感性検索空間をパーソナライズする．検索精度はランキングの精度を評価する指標であるnDCG（normalized Discounted Cumulative Gain）を用いて評価し，従来手法と比較してnDCG@1,5,10の値により評価したところ，提案手法が最も精度の高いランキングを提供できることがわかった．また適合性フィードバックを用いることで，初期検索結果が不適切であったユーザに対してより適切な検索結果を提示することができた．</p>

収録刊行物

  • 画像電子学会誌

    画像電子学会誌 50 (4), 541-549, 2021

    一般社団法人 画像電子学会

キーワード

詳細情報 詳細情報について

問題の指摘

ページトップへ