@techreport{oai:ipsj.ixsq.nii.ac.jp:02010091,
 author = {日高,逸稀 and 木山,朔 and 小町,守 and 欅,惇志},
 issue = {4},
 month = {Jun},
 note = {ユーザ情報を埋め込み表現に変換するユーザ埋め込みは，ユーザ理解を要する様々な下流タスクで用いられる．しかし，タスク特化型の既存手法は汎用性に欠け，マルチタスク学習など汎用型の手法はタスクごとの最適性に欠ける．また，ドメインやデータセットによってユーザの行動に関する特徴量や傾向は大きく異なるため，新たなドメインへの適用時には個別のモデル構築や学習を要するという課題がある．そこで本研究では，汎用的かつタスク特化されたユーザ埋め込みを追加学習なしに獲得する手法として，LLMの内部表現を用いた学習不要なタスク条件付きユーザ埋め込み手法を提案する．具体的には，学習不要なテキスト埋め込み手法であるPromptEOLに着想を得る．回答候補を明示的に含めたタスク指示とユーザ履歴を組み込んだ一語回答プロンプトをLLMに入力し，最終トークンに対応する最終層の内部表現をユーザ埋め込みとして用いる．これにより，追加学習を行うことなく，タスクに応じたユーザ埋め込みを獲得できることが期待される．複数のデータセットを用いたprobingによる評価実験により，LLMの出力トークンをラベルとしたときにzero-shotで高精度に解けたタスクにおいて，提案手法が学習済みテキスト埋め込みモデルと比較して高い性能を示し，それ以外のタスクにおいても同等の性能を達成することを確認した．さらに，合成データを用いた分析により，提案手法による埋め込みが回答ラベルだけでなく，タスクに関連するユーザ履歴間の差異を，埋め込み空間上の意味のある方向として反映することを明らかにした．},
 title = {LLMの内部表現を用いた学習不要なタスク条件付きユーザ埋め込み},
 year = {2026}
}