WEKO3
アイテム
著者識別モデルの LoRA による注目単語の変化に関する考察
https://ipsj.ixsq.nii.ac.jp/records/235908
https://ipsj.ixsq.nii.ac.jp/records/2359086f069366-ccee-4fd0-b46a-c186d2e28727
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-Z86-5D-06.pdf (501.9 kB)
|
Copyright (c) 2024 by the Information Processing Society of Japan
|
| Item type | National Convention(1) | |||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2024-03-01 | |||||||||||||||
| タイトル | ||||||||||||||||
| タイトル | 著者識別モデルの LoRA による注目単語の変化に関する考察 | |||||||||||||||
| 言語 | ||||||||||||||||
| 言語 | jpn | |||||||||||||||
| キーワード | ||||||||||||||||
| 主題Scheme | Other | |||||||||||||||
| 主題 | 人工知能と認知科学 | |||||||||||||||
| 資源タイプ | ||||||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_5794 | |||||||||||||||
| 資源タイプ | conference paper | |||||||||||||||
| 著者所属 | ||||||||||||||||
| 科学警察研 | ||||||||||||||||
| 著者所属 | ||||||||||||||||
| 科学警察研 | ||||||||||||||||
| 著者所属 | ||||||||||||||||
| 科学警察研 | ||||||||||||||||
| 著者所属 | ||||||||||||||||
| 科学警察研 | ||||||||||||||||
| 著者所属 | ||||||||||||||||
| 科学警察研 | ||||||||||||||||
| 著者名 |
櫻井, 航
× 櫻井, 航
× 浅野, 雅人
× 井元, 大輔
× 本間, 正勝
× 黒沢, 健至
|
|||||||||||||||
| 論文抄録 | ||||||||||||||||
| 内容記述タイプ | Other | |||||||||||||||
| 内容記述 | Transformerなどのパラメータ数が膨大なモデルにおいては、事前学習済みモデルの個別タスクに向けたファインチューニングが一般的である。なかでもLoRA(Low-Rank Adaptation)は、元のモデルのパラメータの更新を行わず、線形層にパラメータ更新可能な低ランク行列の積を足し合わせる手法で、その前後でモデルの構造を変えないため、各層の変化がタスク固有の注目方法に直結していると考えられる。本研究ではXLM-RoBERTaを対象に、著者識別タスク向けのLoRA前後で文頭のトークンからAttentionされる単語の傾向の変化を分析したところ、一般的なファインチューニング手法と同様、出力層に近いレイヤーにおける重みづけが大きく変化しており、重みが最大・最小の単語も変化していることが確認できた。 | |||||||||||||||
| 書誌レコードID | ||||||||||||||||
| 収録物識別子タイプ | NCID | |||||||||||||||
| 収録物識別子 | AN00349328 | |||||||||||||||
| 書誌情報 |
第86回全国大会講演論文集 巻 2024, 号 1, p. 123-124, 発行日 2024-03-01 |
|||||||||||||||
| 出版者 | ||||||||||||||||
| 言語 | ja | |||||||||||||||
| 出版者 | 情報処理学会 | |||||||||||||||
