体系的推論における言語モデルの内部挙動の分析

• Item type: SIG Technical Reports(1)
• 公開日: 2024-09-04
• タイトル: 体系的推論における言語モデルの内部挙動の分析
• タイトル / 言語: en
• タイトル: Analysis of the internal behavior of language models in systematic reasoning
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 4C
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 京都産業大学情報理工学部
• 著者所属: 京都産業大学情報理工学部
• 著者所属(英): en
• 著者所属(英): Faculty of Information Science and Engineering, Kyoto Sangyo University
• 著者所属(英): en
• 著者所属(英): Faculty of Information Science and Engineering, Kyoto Sangyo University
• 著者名: 井上, 綾介; 宮森, 恒
• 著者名(英): Ryosuke, Inoue; Hisashi, Miyamori
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 近年，言語モデルは人間のような流暢な言語生成能力を示している一方で，論理的な推論に関しては依然として未知の問題に汎化することが困難である．そこで本研究では，言語の体系性に着想を得て，言語モデルの汎化を目指す上で重要な要素を探るために命題論理に基づくデータセットを構築し，それを用いて言語モデルの内部挙動を分析する．具体的には，異なる形状の命題に対して汎化できるモデルとそうでないモデルの各ニューロンの活性化度合いを比較し，言語モデルの命題論理における体系性を担っていると考えられる箇所を特定する．実験では，パラメータ数の異なるデコーダモデルに対して分析し，その内部挙動を明らかにする．本研究により，言語モデルの分布外汎化を実現するための知見が得られることが期待される．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Large Language Models have achieved remarkable advancements in natural language processing tasks such as language generation and translation recently. On the other hand, their ability to solve unseen logical inference problems is still limited, and it is unclear which parts of the models have the capability to store acquired knowledge and skills to generalize. In this paper, we draw inspiration from the systematicity of language to explore crucial elements for generalizing language models. To this end, we utilize a propositional logic dataset to analyze the internal behavior of language models. Specifically, we compare the activation of neurons in models that can generalize to different forms of propositions with those that cannot, identifying areas believed to be responsible for the systematicity of propositional logic within the language model.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10112482
• 書誌情報: 研究報告データベースシステム（DBS）; 巻 2024-DBS-179, 号 24, p. 1-6, 発行日 2024-09-04
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-871X
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会