![自己紹介
中原 啓貴
Co-Founder/CEO/CRO
東京工業大学 准教授兼任
@HirokiNakahara5 https://github.com/HirokiNakahara
FPGAの国際会議でMLネタを日本人で唯一連続発表中
→ トップカンファレンス全て(FPGA, FCCM, FPL, FPT)で
フルペーパ筆頭著者として発表
0
20
40
60
80
100
40
50
60
70
80
90
100
Recognition
Accuracy
[%]
Initial Sparse Ratio [%]
CIFAR10
SVHN
Linnaeus5
VOC2017
Fine Tuning
on FPGA
Weak connection
Strong connection
ρweak ρstrong
Interconnect
FPGA
PCIe
CNN
Kernel
Decoder
.jpg
Host
PC
Compression Low-quality
Img.
学習アクセラレータ[FPL19]
→ GTX2080Tiの4∼5倍高速化
推論アクセラレータ[FCCM20]
→ 現時点で世界最速
定理を作るCEO 国民的HWを
1週間で作るCEO
コードを書くCEO](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Recommended
More Related Content
What's hot
Similar to Nakahara_ACRi_panel-discussion_25_march2021
Similar to Nakahara_ACRi_panel-discussion_25_march2021 (20)
More from 直久 住川
More from 直久 住川 (20)
Recently uploaded
Recently uploaded (9)
Nakahara_ACRi_panel-discussion_25_march2021
- 1. FPGAとAIハードウェア研究を通じた ポストームア時代の予測 中原 啓貴 東京工業大学 准教授/Tokyo Artisan Intelligence (TAI) CEO
- 2. 自己紹介 中原 啓貴 Co-Founder/CEO/CRO 東京工業大学 准教授兼任 @HirokiNakahara5 https://github.com/HirokiNakahara FPGAの国際会議でMLネタを日本人で唯一連続発表中 → トップカンファレンス全て(FPGA, FCCM, FPL, FPT)で フルペーパ筆頭著者として発表 0 20 40 60 80 100 40 50 60 70 80 90 100 Recognition Accuracy [%] Initial Sparse Ratio [%] CIFAR10 SVHN Linnaeus5 VOC2017 Fine Tuning on FPGA Weak connection Strong connection ρweak ρstrong Interconnect FPGA PCIe CNN Kernel Decoder .jpg Host PC Compression Low-quality Img. 学習アクセラレータ[FPL19] → GTX2080Tiの4∼5倍高速化 推論アクセラレータ[FCCM20] → 現時点で世界最速 定理を作るCEO 国民的HWを 1週間で作るCEO コードを書くCEO
- 3. 企業情報 • 会社名 Tokyo Artisan Intelligence Co., Ltd. トウキョウ アーチザン インテリジェンス 株式会社 • 代表取締役 中原 啓貴 (Nakahara Hiroki) • 設立: 2020年3月3日 • 本社所在地: 〒222-0033 神奈川県横浜市港北区新横浜2-5-1 • 主な業務内容 深層学習アルゴリズムの研究開発 エッジAIプロダクトの開発および販売 AI エキスパート・エンジニアの育成
- 5. DNNが台頭した背景 5 高性能コンピュータ＆大規模データに加え アルゴリズムの発展が後押し (左): Single-Threaded Integer Performance, 2016 (右): 中原, インターネットにおける検索エンジンの技術動向, 2014
- 6. AIのトレーニングモデルに費やされる コンピューターの演算処理能力 • 学習に費やされるコンピューターの演算量（左） • ムーアの法則（右） 6 AI Training Costs Are Improving at 50x the Speed of Moore’s Law https://ark-invest.com/analyst-research/ai-training/
- 7. エッジAIデバイス • AI(主に深層学習)処理に特化 • ASIC, CPU, GPU, FPGA • それぞれ異なる長所短所 • 様々な評価尺度 → 必要とされる場面が異なる
- 8. プラットフォームの分類 8 A. Reuther et al., "Survey and Benchmarking of Machine Learning Accelerators," arXiv:1908.11348, Aug., 2019. https://arxiv.org/abs/1908.11348 私はここです. FPGAで設計したのに FPGAグループに入っていない(笑)
- 10. 柔軟性を持つアーキテクチャ • Variation of dataset • Customer requests: Cost, Accuracy, Performance, Power 10 Dog?Cat? Dog? Fried Chicken?
- 11. AIプロジェクト開発を通して • 最新モデル+大量データで解決しようとしない • 研究とは異なる方向のアプローチ • 各工程で改善ポイント有り • 前工程に戻ることも考慮 • 特に上流工程の影響大 • モデル開発はツールで楽に 11 1適⽤領域の 選択 2データの ⼊⼿・解析 3データ加⼯ 4モデル開発 5評価・運⽤ データ 読込み モデル 設定 (追加 調整) 学習 ・ 予測 モデル 変換
- 12. モデルの改善・再調整 • 現場で運用後、改善・再調整を行う • 別シチュエーションに対応 • 追加アノテーション・学習 • コンパクトなモデル(特定) vs 大規模なモデル(汎用) → 特定用途に絞った方が認識精度が高く・低コストに 軽量化してモデルを作り込むのはその後で 12
- 13. 今後の傾向: 2極化・新構造AIの出現 → 柔軟性を持つアーキテクチャ • 大規模モデル(Transformer Vision, gMLP)・データセット：汎用 • 小規模モデル(MobileNet, AlexNet)・データセット：特定
- 14. 10年後の予測＆何をすべきか？ • 過剰パラメータNNの予測誤差 → モデルの次元>>データサイズ, 一見過学習していても汎化 十分なニューロン数=大量のトランジスタでスケール可能性 → 規則構造を持ち、再構成可能なFPGA型 古典的な状況 （バイアス-バリアンストレードオフ） 新しい設定：⼆重降下 モデルの次元 > データサイズ ⼀⾒過学習していても汎化する 本研究 [Neyshabur et al., ICLR2019] [Amari et al., ICLR2021] AIは有望なキラーアプリケーション 数（≠サイズ）スケールによるpostムーア則デバイスの創出
- 15. DNNをFPGAに直接マッピングする設計法 • FPGAのLUTでDNNを直接回路表現 • 評価時間は1サイクル • Quinary(5値{-2,-1,0,+1,+2})表現 • 大量のパラメータ→学習困難 (が、なんとかなりそう？) Naoto Soga, Ryosuke Kuramochi and Hiroki Nakahara, A High-Throughput Detection Circuit based on 2q +1-Valued Deep Neural Networks, ISMVL2021. Naoto Soga, Hiroki Nakahara: Design Method for an LUT Network-Based CNN with a Sparse Local Convolution. FPT 2020: 294-295.
- 16. まとめ • ムーア則の鈍化とAIの計算需要にギャップ • 古典的AI設計方法（バリアス-バイアス）が 巨大パラメータで汎用的に設計できる可能性 → ニューロン数 トランジスタ数 • 規則構造を持ち再構成可能なFPGA型アーキテクチャ • LUTでDNNを回路実現（脳型処理をFPGA型）鳥と飛行機？