ログイン 新規登録
言語:

WEKO3

  • トップ
  • ランキング
To
lat lon distance
To

Field does not validate



インデックスリンク

インデックスツリー

メールアドレスを入力してください。

WEKO

One fine body…

WEKO

One fine body…

アイテム

  1. 研究報告
  2. システムとLSIの設計技術(SLDM)
  3. 2023
  4. 2023-SLDM-204

Vision Transformerのメモリサイズを10分の1に削減するComputation-in-Memory

https://ipsj.ixsq.nii.ac.jp/records/228885
https://ipsj.ixsq.nii.ac.jp/records/228885
084ae6ff-e40e-43fa-aeeb-2b24045b7bea
名前 / ファイル ライセンス アクション
IPSJ-SLDM23204018.pdf IPSJ-SLDM23204018.pdf (1.2 MB)
Copyright (c) 2023 by the Institute of Electronics, Information and Communication Engineers This SIG report is only available to those in membership of the SIG.
SLDM:会員:¥0, DLIB:会員:¥0
Item type SIG Technical Reports(1)
公開日 2023-11-10
タイトル
タイトル Vision Transformerのメモリサイズを10分の1に削減するComputation-in-Memory
タイトル
言語 en
タイトル Quantization Method of Computation-in-Memory for 1/10 Memory Size Vision Transformer
言語
言語 jpn
キーワード
主題Scheme Other
主題 CiM
資源タイプ
資源タイプ識別子 http://purl.org/coar/resource_type/c_18gh
資源タイプ technical report
著者所属
東京大学大学院工学系研究科電気系工学専攻
著者所属
東京大学大学院工学系研究科電気系工学専攻
著者所属
東京大学大学院工学系研究科電気系工学専攻
著者所属
東京大学大学院工学系研究科電気系工学専攻
著者所属
東京大学大学院工学系研究科電気系工学専攻
著者所属(英)
en
Dept. of Electrical Engineering and Information Systems, Graduate School of Engineering, The University of Tokyo
著者所属(英)
en
Dept. of Electrical Engineering and Information Systems, Graduate School of Engineering, The University of Tokyo
著者所属(英)
en
Dept. of Electrical Engineering and Information Systems, Graduate School of Engineering, The University of Tokyo
著者所属(英)
en
Dept. of Electrical Engineering and Information Systems, Graduate School of Engineering, The University of Tokyo
著者所属(英)
en
Dept. of Electrical Engineering and Information Systems, Graduate School of Engineering, The University of Tokyo
著者名 三澤, 奈央子

× 三澤, 奈央子

三澤, 奈央子

Search repository
山口, 竜平

× 山口, 竜平

山口, 竜平

Search repository
山田, 歩

× 山田, 歩

山田, 歩

Search repository
松井, 千尋

× 松井, 千尋

松井, 千尋

Search repository
竹内, 健

× 竹内, 健

竹内, 健

Search repository
著者名(英) Naoko, Misawa

× Naoko, Misawa

en Naoko, Misawa

Search repository
Ryuhei, Yamaguchi

× Ryuhei, Yamaguchi

en Ryuhei, Yamaguchi

Search repository
Ayumu, Yamada

× Ayumu, Yamada

en Ayumu, Yamada

Search repository
Chihiro, Matsui

× Chihiro, Matsui

en Chihiro, Matsui

Search repository
Ken, Takeuchi

× Ken, Takeuchi

en Ken, Takeuchi

Search repository
論文抄録
内容記述タイプ Other
内容記述 Vision Transformer (ViT) は高い精度で注目を集める一方で,行列演算が多く,膨大な計算量とメモリサイズが課題である.本研究では,ViT の行列演算を不揮発性メモリを用いた Computation-in-Memory にマッピングしメモリサイズを小さくするための,パーセンタイル・クリッピング,レイヤーごとの量子化,量子化認識トレーニングを提案する.
論文抄録(英)
内容記述タイプ Other
内容記述 Vision Transformer (ViT) has attracted attention for its high accuracy. However, ViT requires a huge amount of calculation and the memory size of ViT is too large. In paper, to map ViT to Non-volatile Computation-in-Memory compactly, quantization methods, Percentile Clipping, Per Layer Quantization, and Quantization Aware Training, are proposed.
書誌レコードID
収録物識別子タイプ NCID
収録物識別子 AA11451459
書誌情報 研究報告システムとLSIの設計技術(SLDM)

巻 2023-SLDM-204, 号 18, p. 1-3, 発行日 2023-11-10
ISSN
収録物識別子タイプ ISSN
収録物識別子 2188-8639
Notice
SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
出版者
言語 ja
出版者 情報処理学会
戻る
0
views
See details
Views

Versions

Ver.1 2025-01-19 11:41:00.193748
Show All versions

Share

Mendeley Twitter Facebook Print Addthis

Cite as

エクスポート

OAI-PMH
  • OAI-PMH JPCOAR
  • OAI-PMH DublinCore
  • OAI-PMH DDI
Other Formats
  • JSON
  • BIBTEX

Confirm


Powered by WEKO3


Powered by WEKO3