データの特徴に着目したデータ蓄積基盤の高効率データ管理技術の検討

• Item type: SIG Technical Reports(1)
• 公開日: 2018-06-07
• タイトル: データの特徴に着目したデータ蓄積基盤の高効率データ管理技術の検討
• タイトル / 言語: en
• タイトル: Study of Efficient Data Management for Data Lakes
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 分散処理・並列処理
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: (株）日立製作所
• 著者所属(英): en
• 著者所属(英): Hitachi, Ltd.,
• 著者名: 畑崎, 恵介
• 著者名(英): Keisuke, Hatasaki
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 近年企業において，様々なモノからのデータを収集 ・ 分析し，企業の実業務に活用する目的で，新たな価値の創生や大きな業務効率化の実現を狙う IoT に注目が集まっている．IoT では，どのようなデータをどのように活用するかを探索的に検討していく必要があるため，センサ等から得た無加工の膨大なデータをデータ蓄積基盤に保持した後，必要に応じてデータを検索 ・ 活用できることが重要である．しかし，膨大なデータの保存には多大なコストを要する．本研究では，データ蓄積基盤において，データの特徴を指標化し，この指標に基づきデータ分析時に有効なデータを選定することで，効率的なデータ管理を実現する技術を提案する．実データを用いた分析処理に対して提案技術を適用した結果，データ容量を 1/5 に削減しつつ，削除前と同等の分析結果を得ることが可能であることを確認した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: IoT enables transformation of business in many enterprise fields. Since most of IoT use case has been developed in explorative data analysis process, large amount of data from things and devices should be stored into Data Lakes. But it requires large cost. In this study, we developed efficient data management method based on characteristics of data stored in Data Lakes. To calculate indicator from data and only store selected data in Data Lake by the indicator, we found result of analysis was almost similar even with using 1/5 of data in our experimental analysis case.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10096105
• 書誌情報: 研究報告システム・アーキテクチャ（ARC）; 巻 2018-ARC-231, 号 17, p. 1-5, 発行日 2018-06-07
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8574
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会