WEKO3
アイテム
青空文庫ModernBERTモデルによる国語研長単位係り受け解析
https://ipsj.ixsq.nii.ac.jp/records/2000216
https://ipsj.ixsq.nii.ac.jp/records/2000216dfe11f5a-7c92-4131-987b-4ed16ac66e1b
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-CH25137010.pdf (996.8 KB)
2027年2月1日からダウンロード可能です。
|
Copyright (c) 2025 by the Information Processing Society of Japan
|
|
| 非会員：¥660, IPSJ:学会員：¥330, CH:会員：¥0, DLIB:会員：¥0 | ||
| Item type | SIG Technical Reports(1) | |||||||
|---|---|---|---|---|---|---|---|---|
| 公開日 | 2025-02-01 | |||||||
| タイトル | ||||||||
| 言語 | ja | |||||||
| タイトル | 青空文庫ModernBERTモデルによる国語研長単位係り受け解析 | |||||||
| 言語 | ||||||||
| 言語 | jpn | |||||||
| キーワード | ||||||||
| 主題Scheme | Other | |||||||
| 資源タイプ | ||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||
| 資源タイプ | technical report | |||||||
| 著者所属 | ||||||||
| 京都大学 | ||||||||
| 著者名 |
安岡,孝一
× 安岡,孝一
|
|||||||
| 論文抄録 | ||||||||
| 内容記述タイプ | Other | |||||||
| 内容記述 | 2024年12月に発表されたModernBERTは，入出力幅8192トークンを，1.5億パラメータのモデルで実現している．これまでBERTやDeBERTaの1.5億パラメータ・モデルは，入出力幅が512トークン程度だったことに較べれば，格段の進歩である．係り受け解析での隣接確率行列を考えると，8192トークンもあれば90×90の正方行列がそのままモデルに乗ってしまう．三角行列に圧縮できれば，126×126までは乗りそうである．つまり，隣接確率行列をモデルに乗せてしまった形での解析アルゴリズムを，開発可能だということである．そのようなアルゴリズムを乗せた日本語ModernBERTは，本当に実現可能なのか．本稿では，その可能性を探る． | |||||||
| 書誌レコードID | ||||||||
| 収録物識別子タイプ | NCID | |||||||
| 収録物識別子 | AN1010060X | |||||||
| 書誌情報 |
研究報告人文科学とコンピュータ（CH） 巻 2025-CH-137, 号 10, p. 1-7, 発行日 2025-02-01 |
|||||||
| ISSN | ||||||||
| 収録物識別子タイプ | ISSN | |||||||
| 収録物識別子 | 2188-8957 | |||||||
| Notice | ||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||
| 出版者 | ||||||||
| 言語 | ja | |||||||
| 出版者 | 情報処理学会 | |||||||
