Discovery Sagaサイレントキーワード俯瞰

デブラー / DCT / GAN / CNN / 深層学習 / 画像処理 / ディフェンシング / 画像復元 / 信号処理

近年、深層学習の研究が急速に発展し様々な分野で用いられ、従来の古典的なアプローチでは到底到達できないような画期的な成果が得られている。本研究課題では、信号処理と深層学習の融合による高速高精度画像復元技術の開発を行うことを目的とする。画像復元とは、ノイズ等の様々な劣化要因により汚れた画像から、元の画像を復元することである。
2021年度は、DCTを用いて高速高精度なデブラー技術の開発を行なった。さらに学習の際大きな動きボケを含むカスタマイズしたデータセットを用いて学習をおこなった。近年、マルチスケールやマルチパッチに基づいたGANベースのCNNが提案されてきたが、大幅な処理時間を必要とした。そこでこれらのマルチスケール、マルチパッチ処理を用いることなく、テクスチャを保存しつつリンギングアーチファクトを低減させるDeblurDCTGANを提案した。ロス関数としてDCTによる周波数領域ロスを定義することにより、ブロックノイズを減らしつつ、高精度なデブラー復元が可能となった。さらに複数のデータベースからボケ関数を推定し、大きなボケを腹部画像を集めてカスタマイズしたデータセットを用意し、提案法で学習することにより、従来法と同等以上の復元精度が得られた。実際に撮影したボケ画像に対しても高精度な復元が可能になったことを確認した。提案法の処理速度は従来法の1/10以下であり、高速高精度なデブラー技術を確立した。

音楽情報処理 / 深層学習 / ベイズ学習 / 信号処理 / 記号処理 / 音響信号処理 / 音声処理 / 画像処理

2021年度は、音楽認識に関して、これまで培った各種技術の統合と高度化に取り組むとともに、音楽生成に関して、自動編曲技術の開発にも着手した。まず、相互依存関係を持つコードとキーの同時推定に関して、コード推論モデルとクロマベクトル生成モデルの同時学習を行うための変分自己符号化器 (VAE) を拡張し、キー系列・コード系列・クロマベクトル系列の三階層からなる階層VAEを定式化することで、キー推論モデルとコード生成モデルの同時学習を実現した。また、拍節構造推定に関して、各フレームにおけるビート・ダウンビートの存在確率 (0から1) を予測する代わりに、位相 (0から２pi) を予測することで、拍節構造の周期性を効果的に学習する手法を考案した。さらに、ドラム採譜に関して、大域的な周期構造を捉えるため、周期関数に基づく位置エンコーディングと自己注意機構に加えて、ドラム言語モデルに基づく正則化を用いる手法を考案した。ピアノ採譜に関しては、採譜誤りは挿入・削除・置換からなる確率的な編集操作であるという立場から、誤りを含む採譜結果の生成過程を階層隠れマルコフモデル (HHMM) を用いて定式化し、誤りを含む採譜結果から真の楽譜を解析的に推定する手法を考案した。また、ピアノ採譜における音価・声部推定部において、従来のHMMの代わりに、深層学習を用いて一挙に推論を行う手法を考案した。一方で、自動編曲に関して、ポピュラー音楽のバンド譜からピアノ譜への深層変換モデルを学習する際に、本来一意に定めることができない正解楽譜と音符レベルで表層的に一致させるだけではなく、音符全体から計算される統計量（同時発音数・音高幅・音符密度）を、所望の難易度の統計量に近づくような正則化を行う手法を考案した。視覚情報の取り扱いに関して、VAEに基づく画像データに対する姿勢推定技術の高精度化も実現した。

調和解析学 / フレームレット / ウェーブレット / 錯視 / 脳 / 信号処理 / フラクタル / 多次元信号処理 / フレーム / マルチレート信号処理 / 調和解析 / 単純細胞 / V1野 / ウェーブレット・フレーム / 視覚情報処理 / 画像処理

本研究では調和解析学,及びその多次元信号処理への応用について研究を行った.研究代表者の新井仁之の主な成果は次のものである.方位選択性をもち,完全再構成性をみたし,低階から高階のガウス導関数と類似の形状を有する新しいフレームレットを構成し,さらにそれを用いた円形的幾何的フィルタリングを考案して,研究代表者らが発見したフラクタル螺旋錯視のフレームレット解析を行った.これによりフラクタル螺旋錯視の錯視成分を特定し,それを抽出することに成功した.円形的幾何的フィルタリングは大脳皮質V4野の視覚情報処理と関連していると考えられる.なお以上の成果は新井しのぶとの共同研究による.また,この他にも研究代表者はフレームの理論的研究を行い,多次元かつ一般のサンプリング行列に関するポリフェーズ行列とフレーム作用素に関する結果も得た.なおフラクタル螺旋錯視の錯視成分の抽出に関する結果は,科研費NEWS(2009年1号)でも取り上げられた:http://www.jsps.go.jp/j-grantsinaid/31_result/rikou/37_arai.html

信号処理 / 画像圧縮 / 3Dグラフィックス / MPEG2 / HDTV / 並列処理 / アーキテクチャ / VLSI / 画像処理

本研究では,動画像符号化や3次元グラフィック表示LSIなどの大量のデータを高速に処理するマルチメディアシステムにおける並列処理プロセッサのアーキテクチャ、動さ機構について研究を行なった。動画像符号化プロセッサとして、HDTV用MPEGにおける動きベクトル検出の高速化を計る新しいアルゴリズムを提案する.階層的なピラミッドアルゴリズムに基づき、適応的に画像の特徴をもとに画素データのビット数を削減することによって,処理スピードを大幅に向上し,なおかつ非常に高い精度で動きベクトルを検出することに成功している.従来のピラミッドアルゴリズムや3-Stepアルゴリズムよりも,演算数は大幅に削減されており,なおかつPSNRで比較した動き検出精度もこれらの方法と同等である.このアルゴリズムは,0.5μプロセスにおいてVLSI実現されている.その面積は,従来発表されているものに比べ約1/4の大きさであり,なおかつ約2.5倍の高速化を図っている.
また、コンピュータグラフィックスに関しては、ビットシリアルデータ方式を用いた並列パイプライン方式について研究を行ない、影処理も含むCG表示LSIがワンチップで構成できる演算方式、アーキテクチャを考案した。

【研究分担者】
河原達也	京都大学	情報学研究科	教授	(Kakenデータベース)
森島繁生	早稲田大学	理工学術院	教授	(Kakenデータベース)

【研究分担者】
勘甚裕一	金沢大学	理工研究域機械工学系	教授	(Kakenデータベース)
洞彰人	名古屋大学	大学院・多元数理科学研究科	教授	(Kakenデータベース)
立澤一哉	北海道大学	大学院・数学研究院	准教授	(Kakenデータベース)

【研究分担者】
李冬菊	東京工業大学	工学部	教務職員	(Kakenデータベース)
一色剛	東京工業大学	工学部	助手	(Kakenデータベース)
徐京晶	東京工業大学	工学部	教務職員	(Kakenデータベース)