分析用データ処理系における効率的なデータ配送機構

• Item type: SIG Technical Reports(1)
• 公開日: 2014-07-21
• タイトル: 分析用データ処理系における効率的なデータ配送機構
• タイトル / 言語: en
• タイトル: Efficient Data Transfer Mechanisms on Analytic Data Processing System
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 通信とデータ処理
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 筑波大学システム情報系／筑波大学計算科学研究センター
• 著者所属: 筑波大学システム情報系／筑波大学計算科学研究センター／科学技術振興機構
• 著者所属(英): en
• 著者所属(英): Faculty of Systems and Information Engineering, University of Tsukuba / Center for Computational Sciences, University of Tsukuba
• 著者所属(英): en
• 著者所属(英): Faculty of Systems and Information Engineering, University of Tsukuba / Center for Computational Sciences, University of Tsukuba / JST CREST
• 著者名: 川島, 英之; 建部, 修見
• 著者名(英): Hideyuki, Kawashima; Osamu, Tatebe
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: DBMS 内部で多様な分析処理を行うスキームは in-DB 分析と呼ばれる．本論文ではまず in-DB 分析システムに特徴的な問題として，メモリ枯渇問題と多ノードデータ配送問題があることを示す．メモリ枯渇問題に対応するために，演算子制御方式として，要求駆動・異量ブロック・並列方式を提案する．これは要求駆動方式の利点であるメモリ利用量の正確な推定を活かしながら集合実体化方式の利点である多量結果出力を実行する方式である．提案方式はメモリが少ない場合には固定ブロックを用いる既存の要求駆動方式よりも 15 倍程度性能が良いことが実験により示される．多ノードデータ配送問題については参照表に基づく方式を提案する．提案方式は参照カウンタ方式に比べて最大で 51%の性能を改善することが実験により示される．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Based on the In DB analytics scheme, a DBMS should provide a variety of analysis methods. Then, the DBMS confronts new two problems: shortage of memory and multiple tuple dissemination. To cope with the first problem, we propose demand-driven/different size block/parallel execution method for operator control. The proposed method leverages an advantage of demand-driven method that allows us to estimate the amount of memory utilization, and executes partial set materialization. We show that proposed method shows the best performance when memory amount is limited through an experiment. The improvement is by a factor of 15 compared with fixed-size demand driven method. To cope with the second problem, we propose a reference based data dissemination method with table. The proposed method shows by a factor of 1.51 performance improvement through an experiment.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10444176
• 書誌情報: 研究報告システムソフトウェアとオペレーティング・システム（OS）; 巻 2014-OS-130, 号 20, p. 1-8, 発行日 2014-07-21
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会