@techreport{oai:ipsj.ixsq.nii.ac.jp:02000994,
 author = {平野,颯 and 上垣外,英剛 and 渡辺,太郎 and Hayate Hirano and Hidetaka Kamigaito and Taro Watanabe},
 issue = {16},
 month = {Mar},
 note = {Transformerベースの言語モデルが自然言語処理の幅広いタスクで活用されるようになって久しい．とくにデコーダが大規模言語モデルの基盤となった現状を受け，本研究はそのようなモデルが言語現象を扱う能力について調査する．具体的には，特定の言語現象のみに変更を加えた正例/負例の文ペアを用いて，正例のみに反応するニューロンを検出する．実験により，単一の言語でのみならず，複数の言語間でも共通して特定の言語現象に反応するニューロンが存在することを示した．, Transformer-based language models have long been used in a wide range of natural language processing tasks. In particular, given that decoders have become the basis of large-scale language models, we investigate the ability of such models to handle linguistic phenomena. Specifically, we use positive/negative sentence pairs in which only a specific linguistic phenomenon is modified to detect neurons that respond only to positive examples. Experiments show that neurons that respond to a specific linguistic phenomenon exist not only in a single language but also across multiple languages.},
 title = {大規模言語モデルにおける言語知識の所在について},
 year = {2025}
}