【研究領域課題番号】19H04078 (KAKENデータベースで見る）

【研究キーワード】

ニューラルネットワーク / 雑音畳み込み / FPGA / AI / 深層学習 / CNN / 組込みシステム / 画像圧縮 / Deep Learning / 計算機システム / 高性能計算 / Noise Convolution

【研究成果の概要】

白色雑音回路の設計方法は様々あるが、書き換え可能なFPGAをプロトタイプとして選択し、FPGAの基本構成要素であるLUTを使った雑音回路を採用した。今年度は佐野研究グループでは、FPGAを用いた雑音畳み込みをはじめとするニューラルネットワーク回路を回路構成要素であるLUTやDSPブロックに効率よくマッピングする手法について研究開発した。また、FPGAに開発したニューラルネットワークを実装して、その処理速度や使用リソース量を明らかにした。佐藤研究グループでは、雑音畳み込みをはじめとするニューラルネットワークの学習結果を評価して、雑音畳み込みの有用性を明らかにした。また、様々な応用事例に対する評価を行った。中原研究グループでは、雑音を活用した低ビットニューラルネットワークの研究開発を行った。低ビットニューラルネットワークのFPGA回路実装の検討を行った。また、雑音を加えても精度劣化が生じない学習ツールを開発した。実用的な応用事例として、物体検出・自然言語処理・領域分割・クラス分類に適用し、提案手法が有用であることを明らかにした。

【研究種目】基盤研究(B)

【研究期間】2019-04-01 - 2024-03-31

【配分額】17,160千円 (直接経費: 13,200千円、間接経費: 3,960千円)

【研究領域課題番号】18H04106 (KAKENデータベースで見る）

【研究キーワード】

ディープラーニング / 情報統計力学 / 統計神経力学 / データ駆動科学 / 神経科学 / 視覚野 / 神経回路モデル / データ駆動 / 深層生成モデル / データ駆動的アプローチ / ダイナミクスと内部表現 / 特異統計学 / ニューラルネットワーク / 深層ネット / 情報統計力学と特異統計学

【研究成果の概要】

本研究ではTE野の時間特性をもつ視覚系全体のモデルを構築するために、初期視覚野のモデルとして深層ニューラルネットワークであるXception netを、TE野のモデルとしてHopfield modelを用いた。画像にノイズを加えたものを提案モデルに入力すると時間経過の中で異なるカテゴリーを出力した。この結果はHopfield modelのようなリカレントネットワークが階層的カテゴリー分類に重要であることを示唆しており、すなわちTE野のリカレント結合が階層的カテゴリー分類に重要であることを示唆している。
また、ディープラーニングのホワイトボックス化について、畳み込みニューラルネットワーク（CNN)の画像認識という切り口からの研究を行った。CNNは画像変換を行うモデルで中間層には入力の変換像が現れるが、この中間層の表現が識別精度を保ったまま、どの程度圧縮出来るかについての議論を行った。中間層の結果の相関を考慮し、圧縮アルゴリズムを導入することによって、従来研究より5.0ポイントの性能向上させることに成功した。
2020年に発表した，高次元空間潜在空間を低次元のスライダーインタフェースで探索できる微分部分空間探索という方法について、ベイズ最適化を研究する他の研究者とともに、SIGGRAPH 2021 でCourse を企画して開催した。また、人間が描いた油絵などのアーティスティックな描画スタイルの計算機による自動転写について研究し、複雑なシーンに対してフレーム間のコヒーレンスを有するアニメーションを自動生成する方法を検討した。

【研究種目】基盤研究(A)

【研究期間】2018-04-01 - 2023-03-31

【配分額】43,680千円 (直接経費: 33,600千円、間接経費: 10,080千円)

【研究領域課題番号】18H01437 (KAKENデータベースで見る）

【研究キーワード】

次世代移動通信 / へトロジーニアス・ネットワーク / 干渉抑圧技術 / 機械学習 / 強化学習 / 教師無し学習 / 移動通信 / システム制御 / ニューラルネットワーク / 干渉抑圧 / 送信電力制御 / 送信ビームフォーミング制御 / Deep Learning / 誤差逆伝搬法 / Dropout / 変分法的ベイズ推定 / 干渉キャンセル / 送信制御 / EMアルゴリズム / Message-Passing アルゴリズム / 人工知能

【研究成果の概要】

次世代移動通信のへトロジーニアス・ネットワークにおいて，受信機も干渉キャンセル機能を有することを前提に，複雑かつ膨大な演算量を要する統合送信技術を低演算量で，かつ最適システム容量を達成するように制御することを検討した．
具体的には，MIMO (Multiple-Input Multiple-Output) 通信で7セル以上のセルラーシステムを想定し，受信機の干渉キャンセル機能として，線形受信では最適な MMSE (Minimum Mean Square Error) を検討した．全システムの通信路容量を最大にするよう，昨年度と同様，機械学習の強化学習 (Reinforcement Learning)を送信電力及び送信ビームフォーミングの制御に適用した．計算機シミュレーションにより，演算量が膨大となる最適化手法（全探索）に較べ，システム容量の劣化を抑えられ，かつ全探索よりも演算量を大幅に削減できることを確認した．
さらに，教師信号の情報を不要とするため，機械学習の教師無し学習 (Unsupervised Learning) を適用し，Adam Algorithmを用いて学習の収束速度向上を図った．加えて，3セル以上にも適用できるように，評価関数を修正して自律分散制御法の導入を検討した．計算機シミュレーションにより，7セル，3セクターアンテナのセルラーシステムにおいて，同様にシステム容量を改善できることを確認した．
上記の検討例は MMSE を前提にしていたが，現在，固有モード伝送及び注水定理に基づく送信電力制御を行い，1セルでの通信路容量を局小的に最大化し，これを他セルでも繰り返し行うことでシステム全体の通信路容量の最大化を検討しており，自律分散制御のための計算機シミュレーション・プログラムを作成中である．

【研究種目】基盤研究(B)

【研究期間】2018-04-01 - 2023-03-31

【配分額】5,460千円 (直接経費: 4,200千円、間接経費: 1,260千円)

【研究分野】知覚情報処理

【研究領域課題番号】15K00248 (KAKENデータベースで見る）

【研究キーワード】

画像検索 / 画像認識 / スパースグラフ / ニューラルネットワーク / ビジュアルビッグデータ / ディープラーニング / 圧縮可能性 / 基底関数分解 / 深層学習 / ハッシュ関数 / グラフニューラルネットワーク / 畳込みニューラルネットワーク / 高速画像検索 / 高速画像認識 / 定数時間フィルタ / 高速特徴記述 / 高速特徴点検出

【研究成果の概要】

ビジュアルメディアのビッグデータ（以下、ビジュアルビッグデータとする）を利活用し、画像の検索および認識に関する研究において、できるだけ計算量を削減するための情報理論における圧縮可能性について再検討し、高精度かつ高速な画像検索および認識の方法論を確立した。特に近年注目をされているディープラーニングとの融合により、顔のビジュアルビッグデータを基にしてスパースグラフニューラルネットワークという新たな研究領域を構築することができた。

【研究種目】基盤研究(C)

【研究期間】2015-04-01 - 2018-03-31

【配分額】4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円)