スケールアウト可能なログ検索エンジンの実現と評価

• Item type: Symposium(1)
• 公開日: 2017-11-30
• タイトル: スケールアウト可能なログ検索エンジンの実現と評価
• タイトル / 言語: en
• タイトル: Research of the scalable syslog search engine and evaluation
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_5794
• 資源タイプ: conference paper
• 著者所属: 株式会社IIJイノベーションインスティテュート／北陸先端科学技術大学院大学／情報通信研究機構
• 著者所属: 北陸先端科学技術大学院大学
• 著者名: 阿部, 博; 篠田, 陽一
• 著者名(英): Hiroshi, Abe; Yoichi, Shinoda
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: ネットワークのトラブルシューティングやセキュリティインシデントに対応するため，ネットワーク管理者はトラブルの原因を特定するためにサーバやネットワーク，セキュリティ機器から出力されるログを蓄積し，検索をすることがある．大規模なネットワークでは，出力されるログの量も多く蓄積 ・ 検索システムの規模も巨大化する．大量に出力される機器のログを高速に蓄積し，高速に検索する先行研究としてHayabusa を実装した．本研究では，Hayabusa の検索性能をスケールアウト可能なシンプルな分散システムの設計を行い評価した．結果として，スタンドアロン環境で動作する Hayabusa の約 78 倍高速な分散処理システムを実装し，144 億レコードの syslog メッセージを約 6 秒でフルスキャンし全文検索可能なスケールアウトするシステムを実現した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: In this study, we introduce a simple and high-speed search engine for large-scale system logs, called Hayabusa. Network administrators can use Hayabusa to accumulate and store log information at high speed and to search logs quickly to solve network troubles. We also improve Hayabusa to the simple distributed system. Distributed Hayabusa can scale out its processing speed increasing processing hosts and worker processes. Compare with the standalone Hayabusa environment, the proposed distributed Hayabusa was approximately 78 times faster. Finally, distributed Hayabusa required only 6 seconds to search a keyword from 14.4 billion records.
• 書誌情報: インターネットと運用技術シンポジウム論文集; 巻 2017, p. 73-80, 発行日 2017-11-30
• 出版者 / 言語: ja
• 出版者: 情報処理学会