Bayesian polyphonic spectrogram modeling based on context-free 2D tree structure representation of musical score for automatic music transcription

本報告では音響信号からの自動採譜を目的とし，2 次元木構造によって楽譜が生成される高次プロセスと楽譜からスペクトログラムが生成される低次プロセスを一体化した生成モデルを構築し，モデルのパラメータを推論することで自動採譜を実現するアプローチを提案する．自動採譜は多重音中の各ノートの音高や発音時刻に加えてテンポや音価の推定といった様々な問題が相互依存する大変複雑な課題である．人間が音楽を理解する過程では，リズムやハーモニーといった音楽上の常識的な文法に当てはまるように多重音中の個々のノートを聴き分け，テンポやリズムを認識していると考えられる．このように，観測音響信号がどのようなノートの音で構成されているらしいか，各ノートがどういうテンポのもとでどのような楽譜が意図されて演奏されているらしいか，その楽譜がどの程度音楽的に常識的かどうか，という推論を協調的に行うことで自動採譜の問題が効果的に解決できる可能性がある．そこで本研究では，楽譜が2次元木構造によって生成されるプロセスと楽譜からスペクトログラムが生成されるプロセスを一体化した生成モデルを定式化し，観測音響信号からモデルのパラメータを推論することで採譜を行うアプローチを提案する．実演奏の音楽音響信号を対象とした特定条件下での音高推定・リズム解析の予備実験を行い，本手法の有効性を示した．In order to transcribe scores from the polyphonic acoustic signals, we propose a generative model consisting following two processes; (1) generating score by using 2-dimentional tree structure, and (2) generating spectrograms from the score. We also establish an estimating algorithm for music transcription from the observed spectrograms. Music transcription task contains various interdependent subproblems such as multipitch analysis, onset detection, tempo estimation and rhythm estimation. The interdependency between these subproblems makes music transcription more difficult, and how ambiguity between tempo and rhythm should be dealt with is unsolved problem. There are grammatical rules about rhythm and harmony in Western tonal music. When we listen to the music, it seems that we unconsciously recognize the rhythm and tempo with the grammatical rules and resolve above-stated interdependency. In this way, there is a possibility of improving the result of transcription by solving these subproblems cooperatively. To solve this interdependent subproblems, we propose the integrated generative model based on the musical grammars. This model is designed to generate the scores and the spectrograms in a single step. We also propose the decoding method to infer the parameters from the observed spectrograms. The results of our preliminary experiment indicated that our system can transcribe music with fixed number of notes and fixed length of the input music.