連続音声認識手法を用いた音楽情報処理の研究
【研究分野】知能情報学
【研究キーワード】
連続音声認識 / 音楽情報処理 / リズム認識 / 自動和声付け / 自動対位法 / ハーモニッククラスタリング / specmurt / 確率モデル / 時空間クラスタリング / Specmurt法 / 自動和声づけ / 自動採譜 / MIDI信号 / 連続音声認識手法 / リズムベクトル / 隠れマルコフモデル / 音長変動モデル / 音価列モデル
【研究成果の概要】
MIDIデータを入力にして楽譜を復元するためのリズム認識を、意図された音価を持つ音符を隠れ状態に、変動を伴って実際に演奏された音符長を出力にして、HMMにおけるViterbi経路探索の問題として定式化した。多声部楽曲のリズム認識も、単一声部の問題に還元することで解決した。テンポのモデル化や、テンポ変化の検出なども音声認識におけるセグメンタルk-meansアルゴリズムを拡張した手法により可能となった。
与えられた旋律に対する自動和声付けを、旋律の背後に存在するであろう和音を隠れ状態とし、旋律をその和音からの出力とし、さらに和音の系列として統計的言語モデルを用いることで、連続音声認識と同型の問題として定式化した。
数理的手法による自動対位法の研究は、対旋律のリズムの設計と、音高列の決定の二段階で尤度最大の規準で解を動的計画法によって求める手法を開拓した。
多重音の信号解析は、フレーム単位で観測したスペクトルは倍音構造の重ね合わせであるとモデル化し、単音の倍音として分散しているエネルギーは本来一つのクラスタに属するものと考えて、調波構造を拘束条件としてk-meansクラスタリングをベースにしたアルゴリズム(ハーモニッククラスタリング)を考案した。さらにクラスタ所属を確率とし、k-meansをEMアルゴリズムに一般化し、より精度を向上させた。AICなどの情報量規準を用いて、音源数やオクターブ位置の決定も可能となった。
もう一つの多重音の解析手法として、「specmurt分析」を提案した。周波数軸のみを対数に変換したスペクトルの逆フーリエ変換をspecmurtと呼ぶ。複数の楽音の調波構造が同一であると仮定すると、対数周波数の線形スペクトルは音源周波数の分布と調波構造の畳み込みになるという点に着目し、新しい信号処理の可能性を開いた。
【研究代表者】