ログイン 新規登録
言語:

WEKO3

  • トップ
  • ランキング
To
lat lon distance
To

Field does not validate



インデックスリンク

インデックスツリー

メールアドレスを入力してください。

WEKO

One fine body…

WEKO

One fine body…

アイテム

  1. 研究報告
  2. 自然言語処理(NL)
  3. 2024
  4. 2024-NL-260

In-Context Learningにおけるトークンベース較正手法の用いる決定境界は最適でない

https://ipsj.ixsq.nii.ac.jp/records/235105
https://ipsj.ixsq.nii.ac.jp/records/235105
978a7b7a-3aa6-418e-aea1-79b6f26d4006
名前 / ファイル ライセンス アクション
IPSJ-NL24260014.pdf IPSJ-NL24260014.pdf (17.6 MB)
 2026年6月21日からダウンロード可能です。
Copyright (c) 2024 by the Information Processing Society of Japan
非会員:¥660, IPSJ:学会員:¥330, NL:会員:¥0, DLIB:会員:¥0
Item type SIG Technical Reports(1)
公開日 2024-06-21
タイトル
タイトル In-Context Learningにおけるトークンベース較正手法の用いる決定境界は最適でない
タイトル
言語 en
タイトル Token-based Decision Criteria Are Suboptimal in In-context Learning
言語
言語 jpn
キーワード
主題Scheme Other
主題 LLM分析
資源タイプ
資源タイプ識別子 http://purl.org/coar/resource_type/c_18gh
資源タイプ technical report
著者所属
北陸先端科学技術大学院大学
著者所属
北陸先端科学技術大学院大学
著者所属
北陸先端科学技術大学院大学
著者所属
北陸先端科学技術大学院大学
著者所属
北陸先端科学技術大学院大学
著者所属
北陸先端科学技術大学院大学/理化学研究所
著者所属(英)
en
Japan Advanced Institute of Science and Technology
著者所属(英)
en
Japan Advanced Institute of Science and Technology
著者所属(英)
en
Japan Advanced Institute of Science and Technology
著者所属(英)
en
Japan Advanced Institute of Science and Technology
著者所属(英)
en
Japan Advanced Institute of Science and Technology
著者所属(英)
en
Japan Advanced Institute of Science and Technology / Institute of Physical and Chemical Research
著者名 趙, 羽風

× 趙, 羽風

趙, 羽風

Search repository
坂井, 吉弘

× 坂井, 吉弘

坂井, 吉弘

Search repository
加藤, 万理子

× 加藤, 万理子

加藤, 万理子

Search repository
田中, 健史朗

× 田中, 健史朗

田中, 健史朗

Search repository
石井, 晶

× 石井, 晶

石井, 晶

Search repository
井之上, 直也

× 井之上, 直也

井之上, 直也

Search repository
論文抄録
内容記述タイプ Other
内容記述 文脈内学習 (In-Context Learning; ICL) のタスクでは通常,ラベル空間に含まれるラベルトークンの生成確率を比べることで推論結果を決定するが,そのラベルトークンの選択は人間により恣意的に行われる.いくつかの先行研究は,これらのラベルトークンの生成確率の較正が ICL の性能向上に寄与することを明らかにしたが,これらの手法には依然として,人間が最適ではないラベルトークンを選べてしまうという問題が残る.そこで,本研究ではまず (1) LLM の隠れ状態を分析することで,現行のトークンベースの較正手法では,隠れ状態が持つ有益な情報をうまく表現出来ないことを明らかにする.そして,(2) 人間によるラベルトークン選択の影響を低減し,隠れ状態に含まれる有益な情報を効果的に利用出来る新たな ICL の手法を提案する.実験の結果,我々の提案手法は 3 つのモデルと 10 個の分類データセットでの実験で,現在のトークンベースの較正手法を約 20% 上回る性能を発揮した.
書誌レコードID
収録物識別子タイプ NCID
収録物識別子 AN10115061
書誌情報 研究報告自然言語処理(NL)

巻 2024-NL-260, 号 14, p. 1-17, 発行日 2024-06-21
ISSN
収録物識別子タイプ ISSN
収録物識別子 2188-8779
Notice
SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
出版者
言語 ja
出版者 情報処理学会
戻る
0
views
See details
Views

Versions

Ver.1 2025-01-19 09:36:35.070975
Show All versions

Share

Mendeley Twitter Facebook Print Addthis

Cite as

エクスポート

OAI-PMH
  • OAI-PMH JPCOAR
  • OAI-PMH DublinCore
  • OAI-PMH DDI
Other Formats
  • JSON
  • BIBTEX

Confirm


Powered by WEKO3


Powered by WEKO3