スペクトログラムの階層的クラスタリングを用いたタイムスパン・セグメンテーション抽出について

澤田, 隼, 竹川, 佳成, 平田, 圭二

本稿では，Generative Theory of Tonal Music（GTTM）を音楽のスペクトログラムに直接適用して階層的クラスタリングによってタイムスパン・セグメンテーションを生成する新しい方法を提案する．まず初めに，スペクトログラムを時間軸方向に分割し，周波数方向に縦長の矩形（bin）をピッチイベントとして，スペクトログラムを一連のbinの集合として考える．binのテクスチャの特徴は，グレーレベル同時生起行列（Gray level co-occurrence matrix: GLCM）を使用して抽出され，テクスチャ特徴量の時系列データを生成する．テクスチャ特徴量による隣接bin間の類似度によってフレーズの近接度および変化量が計算される．並列性および反復性などの大域的な構造は，一連のbinの自己相似性行列（Self-similarity matrix: SSM）によって検出される．隣接するbin間の境界の強さを表す時系列データが与えられ，隣接するbinをボトムアップに反復的に併合していくことで，最終的にタイムスパン・セグメンテーションに対応する系統樹を生成するアルゴリズムを開発する．MozartのK.331とK.550を入力して実験を行った結果，音高や調和などの音楽知識をほとんど考慮していないにもかかわらず，有望な結果が得られた．

We propose a new method of applying Generative Theory of Tonal Music directly to a spectrogram of music to produce a time-span segmentation as hierarchical clustering. We first consider a vertically long rectangle in a spectrogram (bin) as a pitch event and a spectrogram as a sequence of bins. The texture feature of a bin is extracted using a gray level co-occurrence matrix to generate a sequence of the texture features. The proximity and change of phrases are calculated by the distance between the adjacent bins by their texture features. The global structures such as parallelism and repetition are detected by a self-similarity matrix of a sequence of bins. We develop an algorithm which is given a sequence of the boundary strength between adjacent bins, iteratively merges adjacent bins in the bottom-up manner, and finally generates a dendrogram, which corresponds to a time-span segmentation. We conducted an experiment with inputting Mozart's K.331 and K.550 and obtained promising results although the algorithm does not take into account almost any musical knowledge such as pitch and harmony.

スペクトログラムの階層的クラスタリングを用いたタイムスパン・セグメンテーション抽出について

書誌事項

この論文をさがす

抄録

収録刊行物

キーワード

詳細情報詳細情報について

書き出し

問題の指摘

スペクトログラムの階層的クラスタリングを用いたタイムスパン・セグメンテーション抽出について

書誌事項

この論文をさがす

抄録

収録刊行物

キーワード

詳細情報 詳細情報について

書き出し

問題の指摘

参加プロジェクトリスト

詳細情報詳細情報について