WEKO3
アイテム
Content-Defined Chunkingを用いた重複除外キャッシュ機構によるGfarmの性能向上
https://ipsj.ixsq.nii.ac.jp/records/81865
https://ipsj.ixsq.nii.ac.jp/records/8186503109b85-e821-441a-956e-f235b8582cb9
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-OS12121020.pdf (349.8 kB)
|
Copyright (c) 2012 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | SIG Technical Reports(1) | |||||||
|---|---|---|---|---|---|---|---|---|
| 公開日 | 2012-04-30 | |||||||
| タイトル | ||||||||
| タイトル | Content-Defined Chunkingを用いた重複除外キャッシュ機構によるGfarmの性能向上 | |||||||
| タイトル | ||||||||
| 言語 | en | |||||||
| タイトル | Improving the Performance of Gfarm by a Cache Deduplication Mechanism with Content-Defined Chunking | |||||||
| 言語 | ||||||||
| 言語 | jpn | |||||||
| キーワード | ||||||||
| 主題Scheme | Other | |||||||
| 主題 | 分散システム | |||||||
| 資源タイプ | ||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||
| 資源タイプ | technical report | |||||||
| 著者所属 | ||||||||
| 電気通信大学 | ||||||||
| 著者所属 | ||||||||
| 電気通信大学 | ||||||||
| 著者所属 | ||||||||
| 電気通信大学／独立行政法人科学技術振興機構, CREST | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| The University of Electro-Communications | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| The University of Electro-Communications | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| The University of Electro-Communications / JST, CREST | ||||||||
| 著者名 |
村上, じゅん
× 村上, じゅん
|
|||||||
| 著者名(英) |
Jun, Murakami
× Jun, Murakami
|
|||||||
| 論文抄録 | ||||||||
| 内容記述タイプ | Other | |||||||
| 内容記述 | データインテンシブサイエンスにおけるアプリケーションにはその実行時に重複するデータを含む多くのファイルを生成するものが存在する．Gfarm は，大規模データの効率的な利用を可能にする分散ファイルシステムである．本稿では，Gfarm のための Content-Defined Chunking (CDC) による重複除外キャッシュ機構の設計と実装および，その機構を評価するための実験結果について報告する．CDC はファイルをその中身に基づき可変長のブロック （チャンク） に分割する方式のことである．クライアントはローカルファイルシステム上にチャンクをキャッシュファイルとして保存し，以降のファイルアクセスで再利用する．重複除外の導入により，データ転送量やストレージ消費容量が減少する．本研究の実験を通じて，提案機構によりファイル読み込み性能が向上し，データ転送量とストレージ消費容量が減少したことを確認した． | |||||||
| 論文抄録(英) | ||||||||
| 内容記述タイプ | Other | |||||||
| 内容記述 | Some application programs in data-intensive science create many large files that contain redundant data. Gfarm is a global distributed file system that enables an efficient use of large-scale data. In this paper, we describe the design and implementation of a cache deduplication mechanism with Content-Defined Chunking (CDC) for Gfarm, and report experimental results for evaluating the mechanism. CDC is a method of dividing a file into variable-size blocks (chunks) based on the contents of the file. The client stores the chunks in the local file system as cache files, and reuses them in the following file accesses. Deduplication of chunks reduces the amount of transmitted data and storage consumption. We confirmed through experiments that the proposed mechanism improved the performance of file read and reduced the amount of transmitted data and storage consumption. | |||||||
| 書誌レコードID | ||||||||
| 収録物識別子タイプ | NCID | |||||||
| 収録物識別子 | AN10444176 | |||||||
| 書誌情報 |
研究報告システムソフトウェアとオペレーティング・システム（OS） 巻 2012-OS-121, 号 20, p. 1-7, 発行日 2012-04-30 |
|||||||
| Notice | ||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||
| 出版者 | ||||||||
| 言語 | ja | |||||||
| 出版者 | 情報処理学会 | |||||||
