HMMに基づいた視聴覚テキスト音声合成-画像ベースアプローチ
Bibliographic Information
- Other Title
-
- HMM ニ モトヅイタ シチョウカク テキスト オンセイ ゴウセイ ガゾウ ベースアプローチ
- HMM-Based Audio-visual Speech Synthesis-Pixel-based Approach
- 音声合成・変換とその応用
Search this article
Description
隠れマルコフモデル(HMM)に基づき,任意の入力テキストから実画像に近い唇動画像を生成するシステムを提案する.我々がこれまでに提案してきたHMMに基づく音声合成法により,高品質なテキスト音声合成システムが実現されているが,この枠組みを,画像ベースアプローチによる唇画像生成に適用する.これによりテキストから,同期した音声と唇動画像の生成が可能であることを示す.本手法の特徴として,主成分分析によって得られる固有唇を利用して,唇パラメータの次元圧縮を行っている.合成システムでは,連結された唇動画像HMMから尤度最大化基準により最適な唇パラメータ系列を求める.この際,静的特徴量(唇の形状)のみでなく,動的特徴量(唇の動き)を考慮することにより,連続的に変化する唇パラメータ系列が生成され,それに基づいて,なめらかに変化する唇動画像を合成することができる.
This paper describes a technique for text-to-audio-visual speechsynthesis based on hidden Markov models (HMMs), in which lip imagesequences are modeled based on pixel-based approach. To reduce the dimensionality of visual speech feature space, we obtain a set of orthogonal vectors (eigenlips) by principal components analysis (PCA), and use a subset of the PCA coefficients and their dynamic featuresas visual speech parameters.Auditory and visual speech parameters are modeled by HMMs separately, and lip movements are synchronized with auditory speech by usingphoneme boundaries of auditory speech for synthesizing lip imagesequences.We confirmed that the generated auditory speech and lip image sequences are realistic and synchronized naturally.
Journal
-
- 情報処理学会論文誌
-
情報処理学会論文誌 43 (7), 2169-2176, 2002-07-15
東京 : 情報処理学会
- Tweet
Keywords
Details 詳細情報について
-
- CRID
- 1050845762814094336
-
- NII Article ID
- 110002771198
-
- NII Book ID
- AN00116647
-
- ISSN
- 18827764
- 03875806
-
- NDL BIB ID
- 6220693
-
- Text Lang
- ja
-
- Article Type
- journal article
-
- Data Source
-
- IRDB
- NDL Search
- CiNii Articles
- KAKEN