In-Context Learningにおけるトークンベース較正手法の用いる決定境界は最適でない

• Item type: SIG Technical Reports(1)
• 公開日: 2024-06-21
• タイトル: In-Context Learningにおけるトークンベース較正手法の用いる決定境界は最適でない
• タイトル / 言語: en
• タイトル: Token-based Decision Criteria Are Suboptimal in In-context Learning
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: LLM分析
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 北陸先端科学技術大学院大学
• 著者所属: 北陸先端科学技術大学院大学
• 著者所属: 北陸先端科学技術大学院大学
• 著者所属: 北陸先端科学技術大学院大学
• 著者所属: 北陸先端科学技術大学院大学
• 著者所属: 北陸先端科学技術大学院大学／理化学研究所
• 著者所属(英): en
• 著者所属(英): Japan Advanced Institute of Science and Technology
• 著者所属(英): en
• 著者所属(英): Japan Advanced Institute of Science and Technology
• 著者所属(英): en
• 著者所属(英): Japan Advanced Institute of Science and Technology
• 著者所属(英): en
• 著者所属(英): Japan Advanced Institute of Science and Technology
• 著者所属(英): en
• 著者所属(英): Japan Advanced Institute of Science and Technology
• 著者所属(英): en
• 著者所属(英): Japan Advanced Institute of Science and Technology / Institute of Physical and Chemical Research
• 著者名: 趙, 羽風; 坂井, 吉弘; 加藤, 万理子; 田中, 健史朗; 石井, 晶; 井之上, 直也
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 文脈内学習 (In-Context Learning; ICL) のタスクでは通常，ラベル空間に含まれるラベルトークンの生成確率を比べることで推論結果を決定するが，そのラベルトークンの選択は人間により恣意的に行われる．いくつかの先行研究は，これらのラベルトークンの生成確率の較正が ICL の性能向上に寄与することを明らかにしたが，これらの手法には依然として，人間が最適ではないラベルトークンを選べてしまうという問題が残る．そこで，本研究ではまず (1) LLM の隠れ状態を分析することで，現行のトークンベースの較正手法では，隠れ状態が持つ有益な情報をうまく表現出来ないことを明らかにする．そして，(2) 人間によるラベルトークン選択の影響を低減し，隠れ状態に含まれる有益な情報を効果的に利用出来る新たな ICL の手法を提案する．実験の結果，我々の提案手法は 3 つのモデルと 10 個の分類データセットでの実験で，現在のトークンベースの較正手法を約 20% 上回る性能を発揮した．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10115061
• 書誌情報: 研究報告自然言語処理（NL）; 巻 2024-NL-260, 号 14, p. 1-17, 発行日 2024-06-21
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8779
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会