Item type |
SIG Technical Reports(1) |
公開日 |
2023-11-10 |
タイトル |
|
|
タイトル |
Vision Transformerのメモリサイズを10分の1に削減するComputation-in-Memory |
タイトル |
|
|
言語 |
en |
|
タイトル |
Quantization Method of Computation-in-Memory for 1/10 Memory Size Vision Transformer |
言語 |
|
|
言語 |
jpn |
キーワード |
|
|
主題Scheme |
Other |
|
主題 |
CiM |
資源タイプ |
|
|
資源タイプ識別子 |
http://purl.org/coar/resource_type/c_18gh |
|
資源タイプ |
technical report |
著者所属 |
|
|
|
東京大学大学院工学系研究科電気系工学専攻 |
著者所属 |
|
|
|
東京大学大学院工学系研究科電気系工学専攻 |
著者所属 |
|
|
|
東京大学大学院工学系研究科電気系工学専攻 |
著者所属 |
|
|
|
東京大学大学院工学系研究科電気系工学専攻 |
著者所属 |
|
|
|
東京大学大学院工学系研究科電気系工学専攻 |
著者所属(英) |
|
|
|
en |
|
|
Dept. of Electrical Engineering and Information Systems, Graduate School of Engineering, The University of Tokyo |
著者所属(英) |
|
|
|
en |
|
|
Dept. of Electrical Engineering and Information Systems, Graduate School of Engineering, The University of Tokyo |
著者所属(英) |
|
|
|
en |
|
|
Dept. of Electrical Engineering and Information Systems, Graduate School of Engineering, The University of Tokyo |
著者所属(英) |
|
|
|
en |
|
|
Dept. of Electrical Engineering and Information Systems, Graduate School of Engineering, The University of Tokyo |
著者所属(英) |
|
|
|
en |
|
|
Dept. of Electrical Engineering and Information Systems, Graduate School of Engineering, The University of Tokyo |
著者名 |
三澤, 奈央子
山口, 竜平
山田, 歩
松井, 千尋
竹内, 健
|
著者名(英) |
Naoko, Misawa
Ryuhei, Yamaguchi
Ayumu, Yamada
Chihiro, Matsui
Ken, Takeuchi
|
論文抄録 |
|
|
内容記述タイプ |
Other |
|
内容記述 |
Vision Transformer (ViT) は高い精度で注目を集める一方で,行列演算が多く,膨大な計算量とメモリサイズが課題である.本研究では,ViT の行列演算を不揮発性メモリを用いた Computation-in-Memory にマッピングしメモリサイズを小さくするための,パーセンタイル・クリッピング,レイヤーごとの量子化,量子化認識トレーニングを提案する. |
論文抄録(英) |
|
|
内容記述タイプ |
Other |
|
内容記述 |
Vision Transformer (ViT) has attracted attention for its high accuracy. However, ViT requires a huge amount of calculation and the memory size of ViT is too large. In paper, to map ViT to Non-volatile Computation-in-Memory compactly, quantization methods, Percentile Clipping, Per Layer Quantization, and Quantization Aware Training, are proposed. |
書誌レコードID |
|
|
収録物識別子タイプ |
NCID |
|
収録物識別子 |
AA11451459 |
書誌情報 |
研究報告システムとLSIの設計技術(SLDM)
巻 2023-SLDM-204,
号 18,
p. 1-3,
発行日 2023-11-10
|
ISSN |
|
|
収録物識別子タイプ |
ISSN |
|
収録物識別子 |
2188-8639 |
Notice |
|
|
|
SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. |
出版者 |
|
|
言語 |
ja |
|
出版者 |
情報処理学会 |