GPU Direct Storageを用いた大規模言語モデルのロード時間短縮手法

• Item type: SIG Technical Reports(1)
• 公開日: 2024-08-01
• タイトル: GPU Direct Storageを用いた大規模言語モデルのロード時間短縮手法
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: ストレージ・ネットワーク
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: IBM東京基礎研究所
• 著者所属: IBM東京基礎研究所
• 著者名: 吉村, 剛; 千葉, 立寛
• 著者名(英): Takeshi, Yoshimura; Tatsuhiro, Chiba
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 大規模言語モデルは様々な自然言語処理タスクを可能にし，ミリ秒単位のトークン生成の高速化が進んだ結果，様々なコンピュータサービスへの応用が広まっている．しかし，タスク処理能力に直結するモデルの大きさが 100 億パラメータ以上に増加した結果，GPU メモリへロードする時間が分単位近くまで増大してしまっている．その結果，スケーリング時や障害回復処理でのダウンタイム増加や開発時の待機時間の増加など，様々な悪影響が懸念される．本研究は現状の safetensors ファイル向けのモデルローダの非効率的な箇所を分析し，特にホストメモリをバウンスバッファとしてのみ利用している点を解決する．具体的には GPU Direct Storage を用いることで，ファイルシステムから GPU メモリへのロード部分にかかるオーバヘッドを削減する．本論文では実験結果として 400 億パラメータの Falcon および 1760 億パラメータの Bloom においてそれぞれ 9.4 倍と 3.3 倍の性能改善を得られたことを示す．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10444176
• 書誌情報: 研究報告システムソフトウェアとオペレーティング・システム（OS）; 巻 2024-OS-164, 号 7, p. 1-8, 発行日 2024-08-01
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8795
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会