時間発展シミュレーション向けの時系列データ圧縮手法

• Item type: SIG Technical Reports(1)
• 公開日: 2014-02-24
• タイトル: 時間発展シミュレーション向けの時系列データ圧縮手法
• タイトル / 言語: en
• タイトル: TIME-SERIES DATA COMPRESSION METHOD FOR TIME EVOLUTION SIMULATIONS
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: IO
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 東京大学情報理工学系研究科
• 著者所属: 東京大学情報理工学系研究科
• 著者名: 松尾, 勇気; 石川, 裕
• 著者名(英): Yuki, Matsuo; Yutaka, Ishikawa
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 時間発展シミュレーションは定期的に計算結果を出力するため、巨大なデータが生成される。そのデータサイズを縮小するため、データ圧縮技術が使われているが、ある時間ステップにおいて書き出すデータの隣接する値の類似性を活用している。本研究では、予測器に基づいた既存の高速な浮動小数点圧縮アルゴリズムを基にした時系列データ圧縮器 t-FPC を提案する。圧縮率を向上させるため、1 つの時間ステップに出力される中間データを、同一の時間ステップのデータ内部のものではなく、最近の複数の時間ステップで出力されたデータ間の差分を用いて圧縮を行う点でそれとは異なる。さらに、書き出す差分データ全体の bit 長の分布から可変サイズでデータを書き出すことにより圧縮率を向上する。また、連続して同じ値の場合、時間ステップの出力が全て同じ値の場合には、特別なエンコーディングをすることにより、圧縮率をさらに向上させる。時間発展シミュレーションである SCALE 気象・気候モデルの実際のファイル出力データを用いた評価により、t-FPC は、既存の浮動小数点データ専用の圧縮器や一般のデータ圧縮器に比べて、圧縮率や処理スループットの観点において、良い性能を達成していることを示す。
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Time evolution simulations generate a large amount of data periodically to ouput results. Existing compression techniques reduce data size by utilizing the similarity among the neighboring values inside the data that is written at one time step. In this paper, we propose t-FPC, a time-series data compression method that adapts the existing predictor based fast floating point compression algorithm. Compared to previous compression methods, it differs in the aspect that it compresses the intermediate result of one time step utilizing the finite differences among the data of recent multiple time steps, instead of those inside the data at the same time step in order to increase the compression ratio. In t-FPC, diffs are compressed with eight kinds of bit lengths. Those are determined based on bit length distribution of diffs. Special encoding is introduced for the two cases: one is that an element at one time step is the same as the previous time step, and another is that all elements at one time step is completely the same as the previous time step. Using the SCALE weather and climate model, it is shown that t-FPC achieves better processing speed and compression ratio than other data compressors including a famous floating point compressor.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10463942
• 書誌情報: 研究報告ハイパフォーマンスコンピューティング（HPC）; 巻 2014-HPC-143, 号 4, p. 1-4, 発行日 2014-02-24
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会