WEKO3
アイテム
日本語PromptBERTにおけるプロンプトベース対照学習の有効性とプロンプトの性質の調査
https://ipsj.ixsq.nii.ac.jp/records/222601
https://ipsj.ixsq.nii.ac.jp/records/2226010d167dc3-22e9-4714-b6bb-6ffdc331caa0
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-NL22254021.pdf (1.2 MB)
|
Copyright (c) 2022 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | SIG Technical Reports(1) | |||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2022-11-22 | |||||||||||
| タイトル | ||||||||||||
| タイトル | 日本語PromptBERTにおけるプロンプトベース対照学習の有効性とプロンプトの性質の調査 | |||||||||||
| 言語 | ||||||||||||
| 言語 | jpn | |||||||||||
| キーワード | ||||||||||||
| 主題Scheme | Other | |||||||||||
| 主題 | 深層学習 | |||||||||||
| 資源タイプ | ||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||||
| 資源タイプ | technical report | |||||||||||
| 著者所属 | ||||||||||||
| 茨城大学 | ||||||||||||
| 著者所属 | ||||||||||||
| 東京農工大学 | ||||||||||||
| 著者所属 | ||||||||||||
| 茨城大学 | ||||||||||||
| 著者所属(英) | ||||||||||||
| en | ||||||||||||
| Ibaraki University | ||||||||||||
| 著者所属(英) | ||||||||||||
| en | ||||||||||||
| Tokyo University of Agriculture and Technology | ||||||||||||
| 著者所属(英) | ||||||||||||
| en | ||||||||||||
| Ibaraki University | ||||||||||||
| 著者名 |
芝山, 直希
× 芝山, 直希
× 古宮, 嘉那子
× 新納, 浩幸
|
|||||||||||
| 論文抄録 | ||||||||||||
| 内容記述タイプ | Other | |||||||||||
| 内容記述 | PromptBERT は文の埋め込み表現を構築する手法である．たとえば，「[X] means [MASK]」のような入力文 [X] と [MASK] トークンを組み合わせたテンプレートを用意しておき，[MASK] トークンに対する埋め込み表現を BERT から推定し，それを入力文の埋め込み表現とみなすという手法である．このように簡易な手法でありながら高い性能を示すことから近年注目されている．また PromptBERT はテンプレートを組み合わせて対照学習を行うことで，モデルの性能を高められることも大きな特徴である．ただし，単純にテンプレートから作られる埋め込め表現を対比させるだけでも対照学習は行えるはずだが，PromptBERT のオリジナルの論文では，推定に利用したテンプレート自身を BERT に入力した場合の [MASK] トークンの埋め込み表現を，テンプレート自身が保有する情報によるノイズとみなし，推定した入力文の埋め込み表現からその値を減じて対照学習を行っている（オリジナルの手法）．本論文では我々が考案した日本語テンプレートによる日本語 PromptBERT に対して，通常の対照学習とオリジナルの手法を比較した実験を行い，テンプレートのノイズを除去する効果を確認する．また PromptBERT で利用するテンプレートの [MASK] トークンから推定される単語を調査することで，プロンプトの性質を考察する． | |||||||||||
| 書誌レコードID | ||||||||||||
| 収録物識別子タイプ | NCID | |||||||||||
| 収録物識別子 | AN10115061 | |||||||||||
| 書誌情報 |
研究報告自然言語処理（NL） 巻 2022-NL-254, 号 21, p. 1-7, 発行日 2022-11-22 |
|||||||||||
| ISSN | ||||||||||||
| 収録物識別子タイプ | ISSN | |||||||||||
| 収録物識別子 | 2188-8779 | |||||||||||
| Notice | ||||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||||
| 出版者 | ||||||||||||
| 言語 | ja | |||||||||||
| 出版者 | 情報処理学会 | |||||||||||
