事前学習済み言語モデルの主観的知識の調査

• Item type: SIG Technical Reports(1)
• 公開日: 2022-09-22
• タイトル: 事前学習済み言語モデルの主観的知識の調査
• タイトル / 言語: en
• タイトル: Investigating Subjective Knowledge of Pre-trained Language Models
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 深層学習の性能調査
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 工学院大学
• 著者所属: 工学院大学
• 著者所属: 工学院大学
• 著者所属(英): en
• 著者所属(英): Kogakuin University
• 著者所属(英): en
• 著者所属(英): Kogakuin University
• 著者所属(英): en
• 著者所属(英): Kogakuin University
• 著者名: 小林, 篤弥; 高橋, 良颯; 山口, 実靖
• 著者名(英): Atsuya, Kobayashi; Yoshihaya, Takahashi; Saneyasu, Yamaguchi
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 自然言語処理において，GPT や BERT などの事前学習済みモデルの活用が普及し，それら言語モデルが内包する知識の調査などが行われている．本稿では，著名な言語モデルの一つである GPT-3 に着目し，そのモデルが内包する主観的な知識について調査し，その偏りについて考察する．そして，その偏りの言語依存性などについて考察する．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: In natural language processing, pre-trained models such as BERT and GPT are widely used, and the knowledge contained in these models is being investigated. In this paper, we focus on GPT-3, one of the well-known language models, and investigate the subjective knowledge it contains, and discuss its bias.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10115061
• 書誌情報: 研究報告自然言語処理（NL）; 巻 2022-NL-253, 号 10, p. 1-8, 発行日 2022-09-22
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8779
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会