検索クエリに配慮した配置による分散ログ検索の高速化

• Item type: Journal(1)
• 公開日: 2022-02-15
• タイトル: 検索クエリに配慮した配置による分散ログ検索の高速化
• タイトル / 言語: en
• タイトル: Fast Distributed Log Search by Query Aware Placement
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: [特集:ネットワークサービスと分散処理] ログ管理，情報検索，分散システム
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_6501
• 資源タイプ: journal article
• ID登録: 10.20729/00216259
• ID登録 / ID登録タイプ: JaLC
• 著者所属: 東京工科大学大学院バイオ・情報メディア研究科コンピュータサイエンス専攻
• 著者所属: 東京工科大学大学院バイオ・情報メディア研究科コンピュータサイエンス専攻
• 著者所属(英): en
• 著者所属(英): Graduate School of Computer Science, Tokyo University of Technology
• 著者所属(英): en
• 著者所属(英): Graduate School of Computer Science, Tokyo University of Technology
• 著者名: 小山, 智之; 串田, 高幸
• 著者名(英): Tomoyuki, Koyama; Takayuki, Kushida
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 現在，Webサービスは広く利用されており，利用者の増加とともにアクセス数が増加している．アクセス数が増えるにつれ，サーバから生成されるアクセスログの件数は大規模になる．大規模なログの管理手法の1つである分散型は，ログを複数のノードに分散配置することで検索時のディスクI/Oにともなう負荷を分散している．分散型ログ管理の課題は，検索時のログへのアクセス傾向が十分に考慮されないためディスクI/Oが一部のノードへ偏り，検索の応答時間が高速でないことである．本研究では，Webアクセスログを対象とした検索クエリを想定した分散ログ配置により，検索の応答時間を削減する手法を提案する．具体的には，検索で発行されるクエリを想定し，それをもとにログに含まれる属性（PathやMethod，ノード名，日付）から特徴量を取り出し，ログの分割と再配置を行った．これにより，検索クエリにより偏るディスクI/Oを分散させ，検索の応答時間を削減した．評価では，86,400,000件のログを13台のノード上に3種類の手法（提案配置，ノード配置，時系列配置）により配置し，発行する検索クエリを変えながら検索の応答時間を比較した．その結果，提案配置は他の配置に比べ最大32秒の短縮を行った．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Web services are widely used these days. The total number of visits is also increasing with the increase in the number of users of network services. The number of logs can be large scale with increasing the number of accesses. Distributed placement is a large-scale log management method that can reduce Disk I/O by putting logs into distributed nodes. However, the placement has a problem that it could not respond to search queries fastly because of unbalanced Disk I/O per node. This research proposes the distributed log placement that reduces search response time in the web access log by query prediction. The method partitions and reallocates logs based on the search query parameters (Path, Method, NodeName, Date) included in the log entries. The system enables to reduce the response time in log search by balancing the Disk I/O per node. The evaluation compares search response time among the proposed method, node-based method and time-based method. The result shows the proposed method is 32 seconds faster than other methods.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN00116647
• 書誌情報: 情報処理学会論文誌; 巻 63, 号 2, p. 504-514, 発行日 2022-02-15
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 1882-7764