@techreport{oai:ipsj.ixsq.nii.ac.jp:00142097,
 author = {愛甲, 和秀 and 木下, 雅文 and 小島, 剛 and 畑﨑, 恵介 and Kazuhide, Aikoh and Masafumi, Kinoshita and Go, Kojima and Keisuke, Hatasaki},
 issue = {5},
 month = {May},
 note = {昨今，注目度が高まっている並列処理システム Spark の障害復旧処理モデルでは，データ量やタスク処理時間に連動してダウンタイムが長くなる，可用性劣化が問題となる場合がある．本研究では，Spark の可用性劣化の原因となるデータ復旧処理時間を短縮するため，Spark のメモリ上のデータ管理をインメモリ KVS で代替する方法を提案する．本方法は，データ書き込み時のノード間でのインメモリデータ複製処理と，障害時のノード内のインメモリ KVS のデータ配置情報と Spark のデータ配置情報の同期処理により，上記復旧処理時間を短縮する．その結果，従来法では障害復旧時間が数分かかる場合においても，提案技術を適用することによりダウンタイムを常に5秒以内に維持できるとの評価結果を得た．以上の結果から，提案方法が Spark のダウンタイムが増加する可用性問題の解決に有効であることが明らかになった．, In recent years, real-time big-data analysis of social infrastructure is anticipated. In this area, parallel analysis platform is effective to increase the performance. However, the mainstream parallel analysis platform like Spark has a problem of availability. This paper proposes the novel data management method for availability improvement of Spark. To reduce the downtime of Spark, a spark in-memory data protection method is developed which consists of auto failover function and of data location synchronization function using highly available In-Memory KVS. Existing method takes several minutes, but the method proposed in this paper only require at most 5 seconds of downtime. As a result of the evaluation, this method is effective for the availability problem of Spark.},
 title = {Sparkの可用性向上に向けたインメモリKVSによるデータ管理代替方法の提案},
 year = {2015}
}