FPGA NICを用いたSpark Streamingの低遅延オフローディング

• Item type: SIG Technical Reports(1)
• 公開日: 2016-08-01
• タイトル: FPGA NICを用いたSpark Streamingの低遅延オフローディング
• タイトル / 言語: en
• タイトル: A Low-Latency Offloading for Spark Streaming Using FPGA NIC
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: データ通信性能
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 慶應義塾大学大学院理工学研究科
• 著者所属: 慶應義塾大学大学院理工学研究科
• 著者所属: 慶應義塾大学大学院理工学研究科／国立情報学研究所／科学技術新興機構さきがけ
• 著者所属(英): en
• 著者所属(英): Graduate School of Science and Technology, Keio University
• 著者所属(英): en
• 著者所属(英): Graduate School of Science and Technology, Keio University
• 著者所属(英): en
• 著者所属(英): Graduate School of Science and Technology, Keio University / National Institute of Informatics / PRESTO, Japan Science and Technology Agency
• 著者名: 中村, 幸平; 林, 愛美; 松谷, 宏紀
• 著者名(英): Kohei, Nakamura; Ami, Hayashi; Hiroki, Matsutani
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: IoT や SNS の進歩と普及によって，大量のストリームデータを少ない遅延で処理もしくは解析する低遅延ストリーム処理の重要度が高まっている．ストリーム処理は，処理の時間的粒度に応じて micro-batch 方式と one-at-a-time 方式の 2 つに大別でき，前者は短い時間ウインドウ毎，後者は単一データ毎に決められた処理を行う．ストリーム処理基盤として近年注目を浴びている Apache Spark Streaming は micro-batch 方式を採用しており，既存の Spark フレームワークが有する機械学習やグラフ処理などの豊富なライブラリをストリーム処理に利用できるという利点があるが，micro-batch 方式を採用しているため，データ処理までの遅延が大きいという欠点もある．本論文では，one-at-a-time 処理を FPGA ベースの 10GbE ネットワークインタフェース (FPGA-NIC) 上にオフローデイングし，Spark Streaming からこの低遅延 one-at-a-time 機能を利用できるようにすることでこの問題の解決を図る．この機能を利用して Spark Streaming 上に変化点検出アプリケーションを構築したところ，変化点検出処理を僅か 0.048ms の遅延で行うことができた．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10096105
• 書誌情報: 研究報告システム・アーキテクチャ（ARC）; 巻 2016-ARC-221, 号 33, p. 1-6, 発行日 2016-08-01
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8574
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会