【研究領域課題番号】21K18017 (KAKENデータベースで見る）

【研究キーワード】

深層学習 / 音楽情報処理 / OMR / バッハ研究 / 画像処理 / デジタル・ヒューマニティーズ / 筆跡鑑定

【研究成果の概要】

近年深層学習が機械学習の世界で注目を浴びておりさまざまな応用分野で大きな精度改善を達成している。特にCNN（Convolutional Neural Networks）は画像処理の分野で著しい成功をおさめている。深層学習の特筆すべき点は、これまでのように特徴量を人間が設計するのではなく、ニューラルネットワークの中間層で自動的に特徴量抽出が行われることである。古楽譜は数ある文書の中でも特に多様な情報を含む複数の階層からなり、多階層のCNN によってこれらの多層構造が自動的に抽出されることが期待できる。これまで古楽譜における音楽記号認識は五線削除の困難さがネックとなり先の段階へ進むことができなかった。これは古楽譜が傾きやインクの映り込み、紙の劣化といった特有のノイズを含んでいることが多く、五線削除に必要な二値化の処理がうまくいかないことが最大の原因であった。CNN を利用することで二値化などの前処理をすることなく、筆跡者を判別することが期待できる。
本研究で究明せんとする対象は、大規模画像データによる事前学習によって、筆跡サンプルの少ない筆跡者の判定精度向上をいかに達成するかである。 本年度は、過学習を避けるための方策として、特定の距離関数を用いた対象ドメインのデータ外類似データを用いた事前学習の有効性を検証した。対象となる筆跡データの分類に有効なネットワークの学習にとって、有効に事前学習を可能にするためのデータ選択方法について分析した。具体的にはImageNetやXceptionなどの大規模画像データセットと対象筆跡データの類似度を様々な尺度を用いて計算し、事前学習したことによる精度向上との関係性を分析した。

【研究種目】若手研究

【研究期間】2021-04-01 - 2023-03-31

【配分額】4,290千円 (直接経費: 3,300千円、間接経費: 990千円)

【研究領域課題番号】19H04137 (KAKENデータベースで見る）

【研究キーワード】

音楽情報処理 / 深層学習 / ベイズ学習 / 信号処理 / 記号処理 / 音響信号処理 / 音声処理 / 画像処理

【研究成果の概要】

2021年度は、音楽認識に関して、これまで培った各種技術の統合と高度化に取り組むとともに、音楽生成に関して、自動編曲技術の開発にも着手した。まず、相互依存関係を持つコードとキーの同時推定に関して、コード推論モデルとクロマベクトル生成モデルの同時学習を行うための変分自己符号化器 (VAE) を拡張し、キー系列・コード系列・クロマベクトル系列の三階層からなる階層VAEを定式化することで、キー推論モデルとコード生成モデルの同時学習を実現した。また、拍節構造推定に関して、各フレームにおけるビート・ダウンビートの存在確率 (0から1) を予測する代わりに、位相 (0から２pi) を予測することで、拍節構造の周期性を効果的に学習する手法を考案した。さらに、ドラム採譜に関して、大域的な周期構造を捉えるため、周期関数に基づく位置エンコーディングと自己注意機構に加えて、ドラム言語モデルに基づく正則化を用いる手法を考案した。ピアノ採譜に関しては、採譜誤りは挿入・削除・置換からなる確率的な編集操作であるという立場から、誤りを含む採譜結果の生成過程を階層隠れマルコフモデル (HHMM) を用いて定式化し、誤りを含む採譜結果から真の楽譜を解析的に推定する手法を考案した。また、ピアノ採譜における音価・声部推定部において、従来のHMMの代わりに、深層学習を用いて一挙に推論を行う手法を考案した。一方で、自動編曲に関して、ポピュラー音楽のバンド譜からピアノ譜への深層変換モデルを学習する際に、本来一意に定めることができない正解楽譜と音符レベルで表層的に一致させるだけではなく、音符全体から計算される統計量（同時発音数・音高幅・音符密度）を、所望の難易度の統計量に近づくような正則化を行う手法を考案した。視覚情報の取り扱いに関して、VAEに基づく画像データに対する姿勢推定技術の高精度化も実現した。

【研究種目】基盤研究(B)

【研究期間】2019-04-01 - 2023-03-31

【配分額】17,160千円 (直接経費: 13,200千円、間接経費: 3,960千円)