@techreport{oai:ipsj.ixsq.nii.ac.jp:00213193,
 author = {伊藤, 響 and 松谷, 宏紀 and Hibiki, Ito and Hiroki, Matsutani},
 issue = {12},
 month = {Oct},
 note = {既存の Word2vec の実装では，バッチ学習を行っているために再学習時のモデル破棄や学習用データの一時的な保存に大きなメモリ容量が必要となる．これらのことが問題となってメモリ容量が小さい環境において Word2vec のモデルの学習を行うことは困難となっている．そこで本論文では Word2vec の学習をオンライン化することで逐次的に送られてくるデータを用いて学習を行うことができ，メモリ容量が小さい環境においても Word2vec の学習が可能であることを示す．具体的には，Word2vec が 3 層のニューラルネットワークを対象とした仕組みであることに着目し，同じように 3 層のニューラルネットワークを対象としたオンライン学習アルゴリズムである OS-ELM が学習アルゴリズムとして適用可能であることを示す．OS-ELM はバッチサイズを 1 とすることで計算量を削減する．さらに，Word2vec の高速化手法である Negative Sampling も取り入れ，OS-ELM と組み合わせた具体的なアルゴリズムを提案する．評価では，英語版Wikipedia のテキスト情報を抽出したデータセットを用いて学習時間と精度を計測し，既存の Word2vec 実装と比較する．Word2vec がオンライン学習化されることによって，将来的に，Word2vec の仕組みを応用した様々な技術についてもオンライン学習化可能となり，エッジデバイスでのオンライン学習の幅が広がる可能性がある．},
 title = {単語分散表現のオンライン逐次学習を用いた更新方法},
 year = {2021}
}