WEKO3
アイテム
大規模言語モデルのサービングにおける投機的デコーディングの動的最適化手法の提案
https://ipsj.ixsq.nii.ac.jp/records/2000810
https://ipsj.ixsq.nii.ac.jp/records/20008102c76ce83-da94-4a8b-ae6c-3beff5373194
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-OS25166004.pdf (1.1 MB)
2027年2月27日からダウンロード可能です。
|
Copyright (c) 2025 by the Information Processing Society of Japan
|
|
| 非会員：¥660, IPSJ:学会員：¥330, OS:会員：¥0, DLIB:会員：¥0 | ||
| Item type | SIG Technical Reports(1) | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2025-02-27 | |||||||||
| タイトル | ||||||||||
| 言語 | ja | |||||||||
| タイトル | 大規模言語モデルのサービングにおける投機的デコーディングの動的最適化手法の提案 | |||||||||
| 言語 | ||||||||||
| 言語 | jpn | |||||||||
| キーワード | ||||||||||
| 主題Scheme | Other | |||||||||
| 主題 | リアルタイムシステム・性能最適化 | |||||||||
| 資源タイプ | ||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||
| 資源タイプ | technical report | |||||||||
| 著者所属 | ||||||||||
| 東京大学 | ||||||||||
| 著者所属 | ||||||||||
| 東京大学 | ||||||||||
| 著者名 |
薄井,真之
× 薄井,真之
× 高前田,伸也
|
|||||||||
| 論文抄録 | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | 投機的デコーディングを大規模言語モデルのサービング（デプロイメント）に適用するため、候補トークン数を動的に決定する方法と、リクエストを跨いでより見込みのあるトークンを（候補トークンとして）選択する方法を提案する。サービングシステム（サーバ）を実装することで評価を行い、提案手法がレイテンシを改善することを示す。 | |||||||||
| 書誌レコードID | ||||||||||
| 収録物識別子タイプ | NCID | |||||||||
| 収録物識別子 | AN10444176 | |||||||||
| 書誌情報 |
研究報告システムソフトウェアとオペレーティング・システム（OS） 巻 2025-OS-166, 号 4, p. 1-8, 発行日 2025-02-27 |
|||||||||
| ISSN | ||||||||||
| 収録物識別子タイプ | ISSN | |||||||||
| 収録物識別子 | 2188-8795 | |||||||||
| Notice | ||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||
| 出版者 | ||||||||||
| 言語 | ja | |||||||||
| 出版者 | 情報処理学会 | |||||||||
