@techreport{oai:ipsj.ixsq.nii.ac.jp:00235103, author = {藤井, 真 and 新納, 浩幸}, issue = {12}, month = {Jun}, note = {大規模言語モデルは膨大なパラメータを調整するために大量のウェブコーパスを用いている.日本語モデルも同様だが,ウェブコーパスの質は玉石混淆で「日本語」を学習する上で質と量のバランスがとれているか定かでない.この点はモデルのサイズが日本語を収めるために不十分な状況で考慮すべきである.モデルがウェブコーパス上の量から日本語とは何かを判断し,取捨選択する可能性があるためである.本研究では,この懸念を確認するため日本語モデルの四字熟語生成性能を評価する.四字熟語は学習指導要領に載りながらも,実生活上は専門用語のような頻度と性質で使用されるためウェブコーパスのままでは学習しにくい日本語と推察する.また,モデルのトークナイザからはトークンに分割されやすく学習や生成の難度が高い語と考える.四字熟語生成性能評価のためのデータセットを作成し,日本語モデルを評価した結果を報告する.}, title = {大規模言語モデル評価のための四字熟語データセットの作成}, year = {2024} }