@techreport{oai:ipsj.ixsq.nii.ac.jp:00227585,
 author = {中島, 京太郎 and 金, 輝燦 and 平澤, 寅庄 and 岡, 照晃 and 小町, 守},
 issue = {1},
 month = {Aug},
 note = {プロンプトチューニングとは，下流タスクの教師信号を基に，埋め込みで表されたプロンプト，ソフトプロンプトを学習する手法である．ソフトプロンプトは入力文とともにモデルに与えられ，学習された下流タスクの情報を入力文に追加する効果がある．プロンプトチューニングは少量のパラメータ更新のみで微調整に匹敵する性能を達成できる．しかし大規模言語モデルのプロンプトチューニングは大量の計算コスト・時間がかかる．本研究では小規模な言語モデルで学習したソフトプロンプトを言語モデルの語彙内トークンに置換し，パラメータを固定したまま大規模な言語モデルに転移させる手法を提案する．提案手法の性能を分類タスクで比較したところ，人手で作成したプロンプトより高い性能を得た．またソフトプロンプトとの比較では，性能は提案手法が下回るものの，使用 GPU メモリ量や収束までの時間を削減することができた．},
 title = {語彙内トークンを媒介とした大規模言語モデルへのソフトプロンプトの転移},
 year = {2023}
}