WEKO3
アイテム
ストリームデータ処理におけるデータベースアーカイブ処理高速化の提案と評価
https://ipsj.ixsq.nii.ac.jp/records/18802
https://ipsj.ixsq.nii.ac.jp/records/18802f66a73d3-02c4-4526-be11-b1ef622218c9
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-DBS07143056.pdf (1.0 MB)
|
Copyright (c) 2007 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | SIG Technical Reports(1) | |||||||
|---|---|---|---|---|---|---|---|---|
| 公開日 | 2007-07-03 | |||||||
| タイトル | ||||||||
| タイトル | ストリームデータ処理におけるデータベースアーカイブ処理高速化の提案と評価 | |||||||
| タイトル | ||||||||
| 言語 | en | |||||||
| タイトル | Proposal and Evaluation of Fast Database Archive Method in Stream Data Processing | |||||||
| 言語 | ||||||||
| 言語 | jpn | |||||||
| 資源タイプ | ||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||
| 資源タイプ | technical report | |||||||
| 著者所属 | ||||||||
| 株式会社日立製作所中央研究所 | ||||||||
| 著者所属 | ||||||||
| 株式会社日立製作所中央研究所 | ||||||||
| 著者所属 | ||||||||
| 株式会社日立製作所中央研究所 | ||||||||
| 著者所属 | ||||||||
| 株式会社日立製作所中央研究所 | ||||||||
| 著者所属 | ||||||||
| 株式会社日立製作所中央研究所 | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Hitachi, Ltd.,Central Research Laboratory | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Hitachi, Ltd.,Central Research Laboratory | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Hitachi, Ltd.,Central Research Laboratory | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Hitachi, Ltd.,Central Research Laboratory | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Hitachi, Ltd.,Central Research Laboratory | ||||||||
| 著者名 |
樫山, 俊彦
花井, 知広
田中, 美智子
今木, 常之
西澤, 格
× 樫山, 俊彦 花井, 知広 田中, 美智子 今木, 常之 西澤, 格
|
|||||||
| 著者名(英) |
Toshihiko, KASHIYAMA
Tomohiro, HANAI
Michiko, TANAKA
Tsuneyuki, IMAKI
Itaru, NISHIZAWA
× Toshihiko, KASHIYAMA Tomohiro, HANAI Michiko, TANAKA Tsuneyuki, IMAKI Itaru, NISHIZAWA
|
|||||||
| 論文抄録 | ||||||||
| 内容記述タイプ | Other | |||||||
| 内容記述 | RFID やセンサデータなど高いレートで生成されるデータを継続的にリアルタイム処理するストリームデータ処理が重要性を増している。ストリームデータ処理システムでは、データの永続化を行わないため、事後解析やロギングのための DB アーカイブも必須である。しかしながら、DB アーカイブはコミット処理や通信による遅延が発生するため、アーカイブ処理によりリアルタイム処理性能も低下する問題があった。本稿では、DB アーカイブ高速化手法である非同期バルクストア、および処理性能を維持しつつも処理結果が DB に格納されていることを保証するアーカイブバッファ同期バルクストアを提案した。プロトタイプシステムによる評価の結果、アーカイブ処理性能がリアルタイム処理出力量を下回る DB 限界に達する以前では、アーカイブバッファ同期バルクストアは、アーカイブしない場合と比較し、スループットが最大 5.4％減、レイテンシが最大 200 ミリ秒以内となり、リアルタイム処理性能を維持可能であることを示した。さらに、提案手法を組み込んだスマートシェルフシステムを構築し、高速化の効果を確認した。 | |||||||
| 論文抄録(英) | ||||||||
| 内容記述タイプ | Other | |||||||
| 内容記述 | RFID technology and sensor network systems produce huge amount of data, and stream data processing, which continuously processes the data in the real-time fashion, has proposed and accepted as a new data processing paradigm. For post hoc analysis or logging, database (DB) archive is required because stream data processing system disposes used data. However, archive processing throughput is low because DB archive contains disk I/O, and real-time data processing throughput is reduced by DB archive. This paper proposes two faster archive method, Asynchronous Bulk Store method and Archive-buffer-Synchronous Bulk Store method. The latter method can guarantee processing data are output after they are archived to DB. The result of evaluation in the prototype system shows throughput drop within 5.4％ compared to No-Archive, and latency is within 200 milli-seconds unless real-time data processing throughput exceeds max DB archive throughput. Moreover, proposed archive methods are of advantage in smart-shelf system which is one of RFID applications. | |||||||
| 書誌レコードID | ||||||||
| 収録物識別子タイプ | NCID | |||||||
| 収録物識別子 | AN10112482 | |||||||
| 書誌情報 |
情報処理学会研究報告データベースシステム（DBS） 巻 2007, 号 65(2007-DBS-143), p. 333-338, 発行日 2007-07-03 |
|||||||
| Notice | ||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||
| 出版者 | ||||||||
| 言語 | ja | |||||||
| 出版者 | 情報処理学会 | |||||||
