LLMの内部表現を用いた学習不要なタスク条件付きユーザ埋め込み

• Item type: SIG Technical Reports(1)
• 公開日: 2026-06-21
• タイトル / 言語: ja
• タイトル: LLMの内部表現を用いた学習不要なタスク条件付きユーザ埋め込み
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: ユーザ理解と行動履歴
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 一橋大学大学院ソーシャル・データサイエンス研究科
• 著者所属: 一橋大学大学院ソーシャル・データサイエンス研究科
• 著者所属: 一橋大学大学院ソーシャル・データサイエンス研究科
• 著者所属: 一橋大学大学院ソーシャル・データサイエンス研究科
• 著者名: 日高,逸稀; 木山,朔; 小町,守; 欅,惇志
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: ユーザ情報を埋め込み表現に変換するユーザ埋め込みは，ユーザ理解を要する様々な下流タスクで用いられる．しかし，タスク特化型の既存手法は汎用性に欠け，マルチタスク学習など汎用型の手法はタスクごとの最適性に欠ける．また，ドメインやデータセットによってユーザの行動に関する特徴量や傾向は大きく異なるため，新たなドメインへの適用時には個別のモデル構築や学習を要するという課題がある．そこで本研究では，汎用的かつタスク特化されたユーザ埋め込みを追加学習なしに獲得する手法として，LLMの内部表現を用いた学習不要なタスク条件付きユーザ埋め込み手法を提案する．具体的には，学習不要なテキスト埋め込み手法であるPromptEOLに着想を得る．回答候補を明示的に含めたタスク指示とユーザ履歴を組み込んだ一語回答プロンプトをLLMに入力し，最終トークンに対応する最終層の内部表現をユーザ埋め込みとして用いる．これにより，追加学習を行うことなく，タスクに応じたユーザ埋め込みを獲得できることが期待される．複数のデータセットを用いたprobingによる評価実験により，LLMの出力トークンをラベルとしたときにzero-shotで高精度に解けたタスクにおいて，提案手法が学習済みテキスト埋め込みモデルと比較して高い性能を示し，それ以外のタスクにおいても同等の性能を達成することを確認した．さらに，合成データを用いた分析により，提案手法による埋め込みが回答ラベルだけでなく，タスクに関連するユーザ履歴間の差異を，埋め込み空間上の意味のある方向として反映することを明らかにした．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10115061
• 書誌情報: 研究報告自然言語処理（NL）; 巻 2026-NL-268, 号 4, p. 1-19, 発行日 2026-06-21
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8779
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会