| Item type |
SIG Technical Reports(1) |
| 公開日 |
2023-01-03 |
| タイトル |
|
|
タイトル |
Neural ODEを用いたFPGA向け高効率マルチヘッド自己注意機構 |
| タイトル |
|
|
言語 |
en |
|
タイトル |
An Efficient Multi-Head Self-Attention using Neural ODE for FPGAs |
| 言語 |
|
|
言語 |
jpn |
| キーワード |
|
|
主題Scheme |
Other |
|
主題 |
FPGA実装 |
| 資源タイプ |
|
|
資源タイプ識別子 |
http://purl.org/coar/resource_type/c_18gh |
|
資源タイプ |
technical report |
| 著者所属 |
|
|
|
慶應義塾大学理工学部 |
| 著者所属 |
|
|
|
慶應義塾大学大学理工学研究科 |
| 著者所属 |
|
|
|
慶應義塾大学大学理工学研究科 |
| 著者所属 |
|
|
|
慶應義塾大学理工学部 |
| 著者所属(英) |
|
|
|
en |
|
|
Faculty of Science and Technology, Keio University |
| 著者所属(英) |
|
|
|
en |
|
|
Graduate School of Science and Technology, Keio University |
| 著者所属(英) |
|
|
|
en |
|
|
Graduate School of Science and Technology, Keio University |
| 著者所属(英) |
|
|
|
en |
|
|
Faculty of Science and Technology, Keio University |
| 著者名 |
大久保, 郁海
杉浦, 圭祐
川上, 大輝
松谷, 宏紀
|
| 著者名(英) |
Ikumi, Okubo
Keisuke, Sugiura
Hiroki, Kawakami
Hiroki, Matsutani
|
| 論文抄録 |
|
|
内容記述タイプ |
Other |
|
内容記述 |
近年マルチヘッド自己注意機構 (Multi-Head Self-Attention) を含むモデルは画像分類，物体検出などの画像認識分野において強力なバックボーンアーキテクチャとして欠かせない存在となっている．本研究では，マルチヘッド自己注意機構を含む二つのモデルを提案する．1 つ目は ResNet50 の最終ステージにおける空間畳み込み部分を MHSA(Multi-Head Self-Attention) に代替したモデル，2 つ目はエッジデバイス向けにパラメータ数を 93% 削減した Neural ODE を利用したモデルである．提案した二つのモデルは，MHSA 機構を使わないオリジナルのモデルに対してパラメータ数をそれぞれ 20%，6.4% 削減し，精度が 2.40%，0.12% 向上した．さらに，MHSA の計算量は特徴マップのサイズの 2 乗に比例し，モデルネットワークにおける計算ボトルネックになる可能性があるため FPGA 実装により MHSAの高速化を図り最大 2.44 倍の高速化を実現した．また FPGA のリソース消費量，固定小数点を用いたことによる精度劣化，消費電力など様々な観点から提案手法を評価しトレードオフを考察する． |
| 書誌レコードID |
|
|
収録物識別子タイプ |
NCID |
|
収録物識別子 |
AN10096105 |
| 書誌情報 |
研究報告システム・アーキテクチャ（ARC）
巻 2023-ARC-251,
号 1,
p. 1-6,
発行日 2023-01-03
|
| ISSN |
|
|
収録物識別子タイプ |
ISSN |
|
収録物識別子 |
2188-8574 |
| Notice |
|
|
|
SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. |
| 出版者 |
|
|
言語 |
ja |
|
出版者 |
情報処理学会 |
IPSJ-ARC23251001.pdf (1.6 MB)
