Transformerモデルに関する順序数の的確な把握と活用能力の調査

• Item type: SIG Technical Reports(1)
• 公開日: 2023-09-14
• タイトル: Transformerモデルに関する順序数の的確な把握と活用能力の調査
• タイトル / 言語: en
• タイトル: Probing the ability to accurately understand and utilize the ordinal numbers by transformer model
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 京都産業大学情報理工学部
• 著者所属: 京都産業大学情報理工学部
• 著者所属(英): en
• 著者所属(英): Faculty of Information Science and Engineering, Kyoto Sangyo University
• 著者所属(英): en
• 著者所属(英): Faculty of Information Science and Engineering, Kyoto Sangyo University
• 著者名: 林, 寛治; 宮森, 恒
• 著者名(英): Kanji, Hayashi; Hisashi, Miyamori
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本稿では，Transformer に基づくモデルが，順序数の概念を的確に把握し活用する能力をどの程度有するのかについて調査する．Transformer に基づく事前学習済みモデルは，四則演算等の単純な算術問題では比較的高い正解率を出す一方，数の概念をどのように捉え，どのように活用しているのかについては不明な点も多い．本研究では，数の概念の一つである順序数に着目し，Transformer モデルが順序数の概念を把握し活用する能力について調査する．具体的には，順序数の的確な数え上げが必要となる質問応答のデータセットを新たに構築する．数え上げの難易度ごとに整理された計 146 種類の問題を作成し，各種類につき 5 万件の問題を構築した．このデータセットを用いた質問応答タスクを検証することで，モデルによる順序数の概念の把握・活用能力を分析する．本データセットによる検証を通して，Transformer モデルの数の理解度に対する知見を深めることが期待される．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10112482
• 書誌情報: 研究報告データベースシステム（DBS）; 巻 2023-DBS-177, 号 28, p. 1-6, 発行日 2023-09-14
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-871X
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会