WEKO3
アイテム
単語IDのremappingによるダブル配列言語モデルの効率化
https://ipsj.ixsq.nii.ac.jp/records/229652
https://ipsj.ixsq.nii.ac.jp/records/229652a4cda4e3-60c2-4b1c-8c18-107f254da471
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-Z85-1L-05.pdf (499.1 kB)
|
Copyright (c) 2023 by the Information Processing Society of Japan
|
| Item type | National Convention(1) | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2023-02-16 | |||||||||
| タイトル | ||||||||||
| タイトル | 単語IDのremappingによるダブル配列言語モデルの効率化 | |||||||||
| 言語 | ||||||||||
| 言語 | jpn | |||||||||
| キーワード | ||||||||||
| 主題Scheme | Other | |||||||||
| 主題 | ソフトウェア科学・工学 | |||||||||
| 資源タイプ | ||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_5794 | |||||||||
| 資源タイプ | conference paper | |||||||||
| 著者所属 | ||||||||||
| 筑波大 | ||||||||||
| 著者所属 | ||||||||||
| 筑波大 | ||||||||||
| 著者名 |
幡鉾, 勇哉
× 幡鉾, 勇哉
× 山本, 幹雄
|
|||||||||
| 論文抄録 | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | remappingはTRIE木データ構造を用いた言語モデルにおいて、TRIE木の深さに応じて単語IDを付け替えることにより、子ノード集合への分岐のID幅を小さくする手法である。もともとはSorted arrayで実装されたTRIE木をElias-Fanoコーディングを用いて圧縮する際の圧縮効率を高めるために考案された手法である。我々は子ノード集合への分岐のID幅を小さくする手法はダブル配列の構築の高速化・コンパクト化にも効果があると考え、remapping手法をダブル配列で実装された言語モデルの効率化に応用することを提案する。remappingする際のコンテキストの組み合わせのいくつかについて実験を行い、構築速度とモデルサイズについて、性能の向上を確認した。 | |||||||||
| 書誌レコードID | ||||||||||
| 収録物識別子タイプ | NCID | |||||||||
| 収録物識別子 | AN00349328 | |||||||||
| 書誌情報 |
第85回全国大会講演論文集 巻 2023, 号 1, p. 245-246, 発行日 2023-02-16 |
|||||||||
| 出版者 | ||||||||||
| 言語 | ja | |||||||||
| 出版者 | 情報処理学会 | |||||||||
