| Item type |
Journal(1) |
| 公開日 |
2019-03-15 |
| タイトル |
|
|
タイトル |
時間軸検索に最適化したスケールアウト可能な高速ログ検索エンジンの実現と評価 |
| タイトル |
|
|
言語 |
en |
|
タイトル |
Design and Evaluation of Scalable Syslog Search Engine Optimized for Time Dimensional Search Operation |
| 言語 |
|
|
言語 |
jpn |
| キーワード |
|
|
主題Scheme |
Other |
|
主題 |
[特集：レジリエントな情報システム構築によるインターネットと運用技術] syslog，全文検索，GNU Parallel，分散処理，SQLite3，ZeroMQ |
| 資源タイプ |
|
|
資源タイプ識別子 |
http://purl.org/coar/resource_type/c_6501 |
|
資源タイプ |
journal article |
| 著者所属 |
|
|
|
株式会社レピダム／ココン株式会社／北陸先端科学技術大学院大学／情報通信研究機構 |
| 著者所属 |
|
|
|
株式会社IIJイノベーションインスティテュート |
| 著者所属 |
|
|
|
奈良先端科学技術大学院大学 |
| 著者所属 |
|
|
|
東京大学 |
| 著者所属 |
|
|
|
東京大学 |
| 著者所属 |
|
|
|
東京大学 |
| 著者所属 |
|
|
|
東京大学 |
| 著者所属 |
|
|
|
東京工業大学 |
| 著者所属 |
|
|
|
北陸先端科学技術大学院大学 |
| 著者所属(英) |
|
|
|
en |
|
|
Lepidum Co. Ltd. / COCON Inc. / Japan Advanced Institute of Science and Technology / National Institute of Information and Communications Technology |
| 著者所属(英) |
|
|
|
en |
|
|
IIJ Innovation Institute Inc. |
| 著者所属(英) |
|
|
|
en |
|
|
Nara Institute of Science and Technology |
| 著者所属(英) |
|
|
|
en |
|
|
The University of Tokyo |
| 著者所属(英) |
|
|
|
en |
|
|
The University of Tokyo |
| 著者所属(英) |
|
|
|
en |
|
|
The University of Tokyo |
| 著者所属(英) |
|
|
|
en |
|
|
The University of Tokyo |
| 著者所属(英) |
|
|
|
en |
|
|
Tokyo Institute of Technology |
| 著者所属(英) |
|
|
|
en |
|
|
Japan Advanced Institute of Science and Technology |
| 著者名 |
阿部, 博
島, 慶一
宮本, 大輔
関谷, 勇司
石原, 知洋
岡田, 和也
中村, 遼
松浦, 知史
篠田, 陽一
|
| 著者名(英) |
Hiroshi, Abe
Keiichi, Shima
Daisuke, Miyamoto
Yuji, Sekiya
Tomohiro, Ishihara
Kazuya, Okada
Ryo, Nakamura
Satoshi, Matsuura
Yoichi, Shinoda
|
| 論文抄録 |
|
|
内容記述タイプ |
Other |
|
内容記述 |
ネットワークのトラブルシューティングやセキュリティインシデントに対応するため，ネットワーク管理者はサーバやネットワーク，セキュリティ機器から出力されるログを蓄積しておき，トラブルの原因を特定するためにその内容を調査することがある．大規模なネットワークでは，出力されるログの量も多く蓄積・検索システムの規模も巨大化する．著者らは，大量に出力される機器のログを後のトラブル解決などで重要となる時間軸を考慮した手法で蓄積し，高速に検索する先行技術としてHayabusaを実装した．本研究では，Hayabusaの検索性能をスケールアウトさせるためのシンプルな分散システムを提案し，その性能を評価した．評価の結果，提案手法は10台かつ複数Workerでの分散環境にスケールアウトした状態でスタンドアロン環境でのHayabusaより約36倍高速に動作した．これは144億レコードのsyslogメッセージを約6秒で全文検索可能な速度に相当し，実用上十分な速度といえる． |
| 論文抄録(英) |
|
|
内容記述タイプ |
Other |
|
内容記述 |
Network administrators usually collect and store logs generated by servers, networks, and security appliances to identify the source of problems by investigating the contents of log information when they find network troubles and/or security incidents. The size of the system to store and search the log messages tends to be larger when the size of the target managed network becomes larger. We proposed a fast log storing and searching system “Hayabusa” which is optimized for time-dimensional search operation in our past work. In this paper, we propose a simple distributed system which adds scalability to the existing Hayabusa system. The evaluation results show that the distributed Hayabusa system consists of 10 servers (with worker processes) is 36 times faster than a standalone Hayabusa system. The time required to perform a full text search over 14.4 billions of recoeds data is just 6 seconds, which is fast enough for daily operations of administrators managing a large scale network. |
| 書誌レコードID |
|
|
収録物識別子タイプ |
NCID |
|
収録物識別子 |
AN00116647 |
| 書誌情報 |
情報処理学会論文誌
巻 60,
号 3,
p. 728-737,
発行日 2019-03-15
|
| ISSN |
|
|
収録物識別子タイプ |
ISSN |
|
収録物識別子 |
1882-7764 |
IPSJ-JNL6003002.pdf (2.2 MB)
