@techreport{oai:ipsj.ixsq.nii.ac.jp:00232682,
 author = {鈴木, 雅弘 and 坂地, 泰紀},
 issue = {2},
 month = {Feb},
 note = {BERT や LLaMA などの言語モデルの構築は，GPU を利用した大規模な計算資源が必要である．本稿では，複数ノードを使用して BERT，DeBERTaV2 と LLaMA の事前学習やインストラクションチューニングを行うための環境の実例を紹介する．高速なネットワークや分散ファイルシステム，及びノードごとに異なるバッチサイズでの学習のための実装などの複数の方策により，より効率的な学習が可能となる．これらの知見は研究室内部のみに蓄積されることが多く，広く共有されることが少ない傾向にある．研究室単位で実施可能な言語モデルの構築およびチューニングのための施策やインフラ基盤について整理することで，本稿が有用な情報源となることが期待される．},
 title = {複数ノードを用いた言語モデルの構築とドメイン適応},
 year = {2024}
}