@techreport{oai:ipsj.ixsq.nii.ac.jp:00227760,
 author = {林, 寛治 and 宮森, 恒 and Kanji, Hayashi and Hisashi, Miyamori},
 issue = {28},
 month = {Sep},
 note = {本稿では，Transformer に基づくモデルが，順序数の概念を的確に把握し活用する能力をどの程度有するのかについて調査する．Transformer に基づく事前学習済みモデルは，四則演算等の単純な算術問題では比較的高い正解率を出す一方，数の概念をどのように捉え，どのように活用しているのかについては不明な点も多い．本研究では，数の概念の一つである順序数に着目し，Transformer モデルが順序数の概念を把握し活用する能力について調査する．具体的には，順序数の的確な数え上げが必要となる質問応答のデータセットを新たに構築する．数え上げの難易度ごとに整理された計 146 種類の問題を作成し，各種類につき 5 万件の問題を構築した．このデータセットを用いた質問応答タスクを検証することで，モデルによる順序数の概念の把握・活用能力を分析する．本データセットによる検証を通して，Transformer モデルの数の理解度に対する知見を深めることが期待される．},
 title = {Transformerモデルに関する順序数の的確な把握と活用能力の調査},
 year = {2023}
}