大規模言語モデルにおける言語知識の所在について

• Item type: SIG Technical Reports(1)
• 公開日: 2025-03-01
• タイトル / 言語: ja
• タイトル: 大規模言語モデルにおける言語知識の所在について
• タイトル / 言語: en
• タイトル: On the Location of Linguistic Knowledge in Large Language Models
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 大規模言語モデル
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 奈良先端科学技術大学院大学
• 著者所属: 奈良先端科学技術大学院大学
• 著者所属: 奈良先端科学技術大学院大学
• 著者所属(英): en
• 著者所属(英): NAIST
• 著者所属(英): en
• 著者所属(英): NAIST
• 著者所属(英): en
• 著者所属(英): NAIST
• 著者名: 平野,颯; 上垣外,英剛; 渡辺,太郎
• 著者名(英): Hayate Hirano; Hidetaka Kamigaito; Taro Watanabe
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: Transformerベースの言語モデルが自然言語処理の幅広いタスクで活用されるようになって久しい．とくにデコーダが大規模言語モデルの基盤となった現状を受け，本研究はそのようなモデルが言語現象を扱う能力について調査する．具体的には，特定の言語現象のみに変更を加えた正例/負例の文ペアを用いて，正例のみに反応するニューロンを検出する．実験により，単一の言語でのみならず，複数の言語間でも共通して特定の言語現象に反応するニューロンが存在することを示した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Transformer-based language models have long been used in a wide range of natural language processing tasks. In particular, given that decoders have become the basis of large-scale language models, we investigate the ability of such models to handle linguistic phenomena. Specifically, we use positive/negative sentence pairs in which only a specific linguistic phenomenon is modified to detect neurons that respond only to positive examples. Experiments show that neurons that respond to a specific linguistic phenomenon exist not only in a single language but also across multiple languages.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10115061
• 書誌情報: 研究報告自然言語処理（NL）; 巻 2025-NL-263, 号 16, p. 1-4, 発行日 2025-03-01
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8779
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会