| Item type |
SIG Technical Reports(1) |
| 公開日 |
2021-10-04 |
| タイトル |
|
|
タイトル |
単語分散表現のオンライン逐次学習を用いた更新方法 |
| タイトル |
|
|
言語 |
en |
|
タイトル |
An Update Method of Word Embedding using Online Sequential Learning |
| 言語 |
|
|
言語 |
jpn |
| キーワード |
|
|
主題Scheme |
Other |
|
主題 |
機械学習 |
| 資源タイプ |
|
|
資源タイプ識別子 |
http://purl.org/coar/resource_type/c_18gh |
|
資源タイプ |
technical report |
| 著者所属 |
|
|
|
慶應義塾大学大学院理工学研究科 |
| 著者所属 |
|
|
|
慶應義塾大学大学院理工学研究科 |
| 著者所属(英) |
|
|
|
en |
|
|
Graduate School of Science and Technology, Keio University |
| 著者名 |
伊藤, 響
松谷, 宏紀
|
| 著者名(英) |
Hibiki, Ito
Hiroki, Matsutani
|
| 論文抄録 |
|
|
内容記述タイプ |
Other |
|
内容記述 |
既存の Word2vec の実装では，バッチ学習を行っているために再学習時のモデル破棄や学習用データの一時的な保存に大きなメモリ容量が必要となる．これらのことが問題となってメモリ容量が小さい環境において Word2vec のモデルの学習を行うことは困難となっている．そこで本論文では Word2vec の学習をオンライン化することで逐次的に送られてくるデータを用いて学習を行うことができ，メモリ容量が小さい環境においても Word2vec の学習が可能であることを示す．具体的には，Word2vec が 3 層のニューラルネットワークを対象とした仕組みであることに着目し，同じように 3 層のニューラルネットワークを対象としたオンライン学習アルゴリズムである OS-ELM が学習アルゴリズムとして適用可能であることを示す．OS-ELM はバッチサイズを 1 とすることで計算量を削減する．さらに，Word2vec の高速化手法である Negative Sampling も取り入れ，OS-ELM と組み合わせた具体的なアルゴリズムを提案する．評価では，英語版Wikipedia のテキスト情報を抽出したデータセットを用いて学習時間と精度を計測し，既存の Word2vec 実装と比較する．Word2vec がオンライン学習化されることによって，将来的に，Word2vec の仕組みを応用した様々な技術についてもオンライン学習化可能となり，エッジデバイスでのオンライン学習の幅が広がる可能性がある． |
| 書誌レコードID |
|
|
収録物識別子タイプ |
NCID |
|
収録物識別子 |
AN10096105 |
| 書誌情報 |
研究報告システム・アーキテクチャ（ARC）
巻 2021-ARC-246,
号 12,
p. 1-6,
発行日 2021-10-04
|
| ISSN |
|
|
収録物識別子タイプ |
ISSN |
|
収録物識別子 |
2188-8574 |
| Notice |
|
|
|
SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. |
| 出版者 |
|
|
言語 |
ja |
|
出版者 |
情報処理学会 |
IPSJ-ARC21246012.pdf (1.2 MB)
