@techreport{oai:ipsj.ixsq.nii.ac.jp:00220240, author = {小林, 篤弥 and 高橋, 良颯 and 山口, 実靖 and Atsuya, Kobayashi and Yoshihaya, Takahashi and Saneyasu, Yamaguchi}, issue = {10}, month = {Sep}, note = {自然言語処理において,GPT や BERT などの事前学習済みモデルの活用が普及し,それら言語モデルが内包する知識の調査などが行われている.本稿では,著名な言語モデルの一つである GPT-3 に着目し,そのモデルが内包する主観的な知識について調査し,その偏りについて考察する.そして,その偏りの言語依存性などについて考察する., In natural language processing, pre-trained models such as BERT and GPT are widely used, and the knowledge contained in these models is being investigated. In this paper, we focus on GPT-3, one of the well-known language models, and investigate the subjective knowledge it contains, and discuss its bias.}, title = {事前学習済み言語モデルの主観的知識の調査}, year = {2022} }