Vision Transformerのメモリサイズを10分の1に削減するComputation-in-Memory

• Item type: SIG Technical Reports(1)
• 公開日: 2023-11-10
• タイトル: Vision Transformerのメモリサイズを10分の1に削減するComputation-in-Memory
• タイトル / 言語: en
• タイトル: Quantization Method of Computation-in-Memory for 1/10 Memory Size Vision Transformer
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: CiM
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 東京大学大学院工学系研究科電気系工学専攻
• 著者所属: 東京大学大学院工学系研究科電気系工学専攻
• 著者所属: 東京大学大学院工学系研究科電気系工学専攻
• 著者所属: 東京大学大学院工学系研究科電気系工学専攻
• 著者所属: 東京大学大学院工学系研究科電気系工学専攻
• 著者所属(英): en
• 著者所属(英): Dept. of Electrical Engineering and Information Systems, Graduate School of Engineering, The University of Tokyo
• 著者所属(英): en
• 著者所属(英): Dept. of Electrical Engineering and Information Systems, Graduate School of Engineering, The University of Tokyo
• 著者所属(英): en
• 著者所属(英): Dept. of Electrical Engineering and Information Systems, Graduate School of Engineering, The University of Tokyo
• 著者所属(英): en
• 著者所属(英): Dept. of Electrical Engineering and Information Systems, Graduate School of Engineering, The University of Tokyo
• 著者所属(英): en
• 著者所属(英): Dept. of Electrical Engineering and Information Systems, Graduate School of Engineering, The University of Tokyo
• 著者名: 三澤, 奈央子; 山口, 竜平; 山田, 歩; 松井, 千尋; 竹内, 健
• 著者名(英): Naoko, Misawa; Ryuhei, Yamaguchi; Ayumu, Yamada; Chihiro, Matsui; Ken, Takeuchi
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: Vision Transformer (ViT) は高い精度で注目を集める一方で，行列演算が多く，膨大な計算量とメモリサイズが課題である．本研究では，ViT の行列演算を不揮発性メモリを用いた Computation-in-Memory にマッピングしメモリサイズを小さくするための，パーセンタイル・クリッピング，レイヤーごとの量子化，量子化認識トレーニングを提案する．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Vision Transformer (ViT) has attracted attention for its high accuracy. However, ViT requires a huge amount of calculation and the memory size of ViT is too large. In paper, to map ViT to Non-volatile Computation-in-Memory compactly, quantization methods, Percentile Clipping, Per Layer Quantization, and Quantization Aware Training, are proposed.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11451459
• 書誌情報: 研究報告システムとLSIの設計技術（SLDM）; 巻 2023-SLDM-204, 号 18, p. 1-3, 発行日 2023-11-10
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8639
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会