[Updated on Apr. 18] Integration of CiNii Articles into CiNii Research

HMMに基づいた視聴覚テキスト音声合成-画像ベースアプローチ

Bibliographic Information

Other Title
  • HMM ニ モトヅイタ シチョウカク テキスト オンセイ ゴウセイ ガゾウ ベースアプローチ
  • HMM-Based Audio-visual Speech Synthesis-Pixel-based Approach
  • 音声合成・変換とその応用

Search this article

Abstract

隠れマルコフモデル(HMM)に基づき,任意の入力テキストから実画像に近い唇動画像を生成するシステムを提案する.我々がこれまでに提案してきたHMMに基づく音声合成法により,高品質なテキスト音声合成システムが実現されているが,この枠組みを,画像ベースアプローチによる唇画像生成に適用する.これによりテキストから,同期した音声と唇動画像の生成が可能であることを示す.本手法の特徴として,主成分分析によって得られる固有唇を利用して,唇パラメータの次元圧縮を行っている.合成システムでは,連結された唇動画像HMMから尤度最大化基準により最適な唇パラメータ系列を求める.この際,静的特徴量(唇の形状)のみでなく,動的特徴量(唇の動き)を考慮することにより,連続的に変化する唇パラメータ系列が生成され,それに基づいて,なめらかに変化する唇動画像を合成することができる.

This paper describes a technique for text-to-audio-visual speechsynthesis based on hidden Markov models (HMMs), in which lip imagesequences are modeled based on pixel-based approach. To reduce the dimensionality of visual speech feature space, we obtain a set of orthogonal vectors (eigenlips) by principal components analysis (PCA), and use a subset of the PCA coefficients and their dynamic featuresas visual speech parameters.Auditory and visual speech parameters are modeled by HMMs separately, and lip movements are synchronized with auditory speech by usingphoneme boundaries of auditory speech for synthesizing lip imagesequences.We confirmed that the generated auditory speech and lip image sequences are realistic and synchronized naturally.

Journal

Citations (3)*help

See more

References(17)*help

See more

Related Projects

See more

Details

Report a problem

Back to top