WEKO3
アイテム
Apache SparkのSerialize処理最適化による処理速度向上手法
https://ipsj.ixsq.nii.ac.jp/records/182857
https://ipsj.ixsq.nii.ac.jp/records/1828577c57929b-d8e3-47fc-8e09-a40828ffb8d7
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-OS17141016.pdf (2.7 MB)
|
Copyright (c) 2017 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | SIG Technical Reports(1) | |||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2017-07-19 | |||||||||||
| タイトル | ||||||||||||
| タイトル | Apache SparkのSerialize処理最適化による処理速度向上手法 | |||||||||||
| 言語 | ||||||||||||
| 言語 | jpn | |||||||||||
| キーワード | ||||||||||||
| 主題Scheme | Other | |||||||||||
| 主題 | ビッグデータ | |||||||||||
| 資源タイプ | ||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||||
| 資源タイプ | technical report | |||||||||||
| 著者所属 | ||||||||||||
| 名古屋工業大学 | ||||||||||||
| 著者所属 | ||||||||||||
| 名古屋工業大学 | ||||||||||||
| 著者所属 | ||||||||||||
| 名古屋工業大学 | ||||||||||||
| 著者所属(英) | ||||||||||||
| en | ||||||||||||
| Nagoya Institute of Technology | ||||||||||||
| 著者所属(英) | ||||||||||||
| en | ||||||||||||
| Nagoya Institute of Technology | ||||||||||||
| 著者所属(英) | ||||||||||||
| en | ||||||||||||
| Nagoya Institute of Technology | ||||||||||||
| 著者名 |
稲垣, 英夫
× 稲垣, 英夫
× 川島, 龍太
× 松尾, 啓志
|
|||||||||||
| 論文抄録 | ||||||||||||
| 内容記述タイプ | Other | |||||||||||
| 内容記述 | ビッグデータの解析手法として，クラスタ環境を用いた並列分散処理が注目されており，並列分散処理を効率的に記述するためのフレームワークとして Apache Spark が普及している．Spark はデータに対して多段な処理が発生する場合でもメモリ上で処理するため，他のフレームワークと比較してディスクアクセスの回数が減少し，パフォーマンスが向上する．しかし，計算機間でのデータ転送を必要とする Shuffle 処理では，大量のデータが転送されるため，処理全体の性能が低下する．Shuffle 処理の際，転送元の計算機において送信データの Serialize が行われ，同様に転送先の計算機において受信データの Deserialize が行われる．Serialize / Deserialize は Word サイズや Byte オーダなどの仕様が異なる計算機間のデータ転送では有用であるが，Spark のプロセスはすべて JVM 上で動作しているため，このような仕様はすべて統一されており，Serialize / Deserialize は簡素化できる．そこで本研究では Serialize / Deserialize 処理を最適化してデータ転送性能の向上を図る．具体的には，送信データに対する Serialize を簡素化して，クラス名などの省略可能な情報を付与せずバイト列変換のみを行い，転送先では受信データをバイト列のままデータとして扱うことで処理速度が向上する．評価から，JavaSerializer と比較した際に Serialize / Deserialize 処理にかかる時間を最大 57.3% 削減，全体の処理時間を最大 19.8% 削減し，手法の有効性を確認した． | |||||||||||
| 書誌レコードID | ||||||||||||
| 収録物識別子タイプ | NCID | |||||||||||
| 収録物識別子 | AN10444176 | |||||||||||
| 書誌情報 |
研究報告システムソフトウェアとオペレーティング・システム（OS） 巻 2017-OS-141, 号 16, p. 1-7, 発行日 2017-07-19 |
|||||||||||
| ISSN | ||||||||||||
| 収録物識別子タイプ | ISSN | |||||||||||
| 収録物識別子 | 2188-8795 | |||||||||||
| Notice | ||||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||||
| 出版者 | ||||||||||||
| 言語 | ja | |||||||||||
| 出版者 | 情報処理学会 | |||||||||||
