WEKO3
アイテム
整数量子化と近似演算に基づくSelf Attention処理回路の省面積化
https://ipsj.ixsq.nii.ac.jp/records/240522
https://ipsj.ixsq.nii.ac.jp/records/2405221ddf19b5-1d08-4f75-b287-cf70367a3033
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-SLDM24207040.pdf (2.1 MB)
2026年11月5日からダウンロード可能です。
|
Copyright (c) 2024 by the Information Processing Society of Japan
|
|
| 非会員：¥660, IPSJ:学会員：¥330, SLDM:会員：¥0, DLIB:会員：¥0 | ||
| Item type | SIG Technical Reports(1) | |||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2024-11-05 | |||||||||||
| タイトル | ||||||||||||
| タイトル | 整数量子化と近似演算に基づくSelf Attention処理回路の省面積化 | |||||||||||
| 言語 | ||||||||||||
| 言語 | jpn | |||||||||||
| 資源タイプ | ||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||||
| 資源タイプ | technical report | |||||||||||
| 著者所属 | ||||||||||||
| 名古屋大学大学院情報学研究科 | ||||||||||||
| 著者所属 | ||||||||||||
| 名古屋大学大学院情報学研究科 | ||||||||||||
| 著者所属 | ||||||||||||
| 名古屋大学大学院情報学研究科 | ||||||||||||
| 著者所属(英) | ||||||||||||
| en | ||||||||||||
| Graduate School of Informatics, Nagoya University | ||||||||||||
| 著者所属(英) | ||||||||||||
| en | ||||||||||||
| Graduate School of Informatics, Nagoya University | ||||||||||||
| 著者所属(英) | ||||||||||||
| en | ||||||||||||
| Graduate School of Informatics, Nagoya University | ||||||||||||
| 著者名 |
川村, 哲平
× 川村, 哲平
× 増田, 豊
× 石原, 亨
|
|||||||||||
| 論文抄録 | ||||||||||||
| 内容記述タイプ | Other | |||||||||||
| 内容記述 | Vision Transformer (ViT)は，2021 年に発表された，画像処理に特化したニューラルネットワークモデルである．ViT は Self Attention と呼ばれる処理により，画像内の広範囲にわたる相関を効果的に捉えることを可能にする．本稿では Self Attention 内の演算を整数量子化し，効率よくハードウェア化する方法を示す．さらに，区分線形近似に基づく近似 Softmax 関数と対数近似乗算を導入したコンパクトな Self Attention 処理回路の実装と，その学習法を提案する．CIFAR-10 を用いた評価実験の結果，Self Attention に対して提案手法による近似を導入した ViT において，近似を導入しない場合と比較して画像分類の精度が低下しないことを確認した．また，提案手法を用いることで，32bit 浮動小数点演算器を用いる場合と比較して Self Attention 処理回路の面積を 95% 以上削減できることを確認した． | |||||||||||
| 書誌レコードID | ||||||||||||
| 収録物識別子タイプ | NCID | |||||||||||
| 収録物識別子 | AA11451459 | |||||||||||
| 書誌情報 |
研究報告システムとLSIの設計技術（SLDM） 巻 2024-SLDM-207, 号 40, p. 1-6, 発行日 2024-11-05 |
|||||||||||
| ISSN | ||||||||||||
| 収録物識別子タイプ | ISSN | |||||||||||
| 収録物識別子 | 2188-8639 | |||||||||||
| Notice | ||||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||||
| 出版者 | ||||||||||||
| 言語 | ja | |||||||||||
| 出版者 | 情報処理学会 | |||||||||||
