WEKO3
アイテム
Sun Fire X4500とGfarmを用いた大規模ストレージの構築
https://ipsj.ixsq.nii.ac.jp/records/28734
https://ipsj.ixsq.nii.ac.jp/records/287348d650673-0fba-4e7f-beac-6286d0d64fdd
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-HPC07113001.pdf (603.0 kB)
|
Copyright (c) 2007 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | SIG Technical Reports(1) | |||||||
|---|---|---|---|---|---|---|---|---|
| 公開日 | 2007-12-07 | |||||||
| タイトル | ||||||||
| タイトル | Sun Fire X4500とGfarmを用いた大規模ストレージの構築 | |||||||
| タイトル | ||||||||
| 言語 | en | |||||||
| タイトル | Building A Large-Scale Storage System Using Sun Fire X4500 and Gfarm | |||||||
| 言語 | ||||||||
| 言語 | jpn | |||||||
| 資源タイプ | ||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||
| 資源タイプ | technical report | |||||||
| 著者所属 | ||||||||
| 産業技術総合研究所 | ||||||||
| 著者所属 | ||||||||
| 産業技術総合研究所 | ||||||||
| 著者所属 | ||||||||
| 産業技術総合研究所／株式会社 創夢 | ||||||||
| 著者所属 | ||||||||
| 産業技術総合研究所 | ||||||||
| 著者所属 | ||||||||
| 東京工業大学 | ||||||||
| 著者所属 | ||||||||
| 東京工業大学／国立情報学研究所 | ||||||||
| 著者所属 | ||||||||
| 産業技術総合研究所 | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| National Institute of Advanced Industrial Science and Technology(AIST) | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| National Institute of Advanced Industrial Science and Technology(AIST) | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| National Institute of Advanced Industrial Science and Technology(AIST)/SOUM Corporation | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| National Institute of Advanced Industrial Science and Technology(AIST) | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Tokyo Institute of Technology | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Tokyo Institute of Technology/National Institute of Informatics | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| National Institute of Advanced Industrial Science and Technology(AIST) | ||||||||
| 著者名 |
谷村勇輔
× 谷村勇輔
|
|||||||
| 著者名(英) |
YusukeTanimura
× YusukeTanimura
|
|||||||
| 論文抄録 | ||||||||
| 内容記述タイプ | Other | |||||||
| 内容記述 | Sun FireX4500は4ウェイのx86-64 と 24TB のストレージを統合したサーバであり，大規模データ処理の基盤となるストレージを構築するのに適したサーバの1つである．特に，Gfarmのファイルアフィニティを考慮したデータ処理モデルとの相性が良いと考えられる．そこで，本研究では20ノードのX4500とGfarmを組み合わせたストレージシステムの構築を検討した．Solaris10が提供するZFS/RAID-Zの特徴を活用して，Gfarmにおいて十分なスループットが得られるように予備実験を行いながら，ZFSのストレージールの構成を決定した．同様に，Gfarmのメタデータ操作についても性能が得られるようにメタデータを格納するファイルシステムを検討した．これらの検討を踏まえて，実際に 256.5TBのストレージを構築して基本性能を検証し，それを拡張してPB規模のストレージを構築するための課題を明らかにした． | |||||||
| 論文抄録(英) | ||||||||
| 内容記述タイプ | Other | |||||||
| 内容記述 | Sun Fire X4500 Server integrates a four-way x86-64 server and 24 TB storage, which may deliver remarkable benefits to the large-scacle data processing applications. In particular, the server architecture is supposed to match a data processing model of Gfarm, which uses file-affinity scheduling. In this paper, system integration for building a storage system using 20 nodes of X4500 and Gfarm is discussed. Configuration of the ZFS/RAID-Z storage pool or UFS is determined so that Gfarm achieves significant performance in I/O throughput and metadata operations. According to the discussions and preliminary experiments, a storage system which has 256.5 TB capacity was constructed and the basic performance was measured by benchmarks. The results indicate several issues for building a petabytes-scale storage system with such as the architecture. | |||||||
| 書誌レコードID | ||||||||
| 収録物識別子タイプ | NCID | |||||||
| 収録物識別子 | AN10463942 | |||||||
| 書誌情報 |
情報処理学会研究報告ハイパフォーマンスコンピューティング（HPC） 巻 2007, 号 122(2007-HPC-113), p. 1-6, 発行日 2007-12-07 |
|||||||
| Notice | ||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||
| 出版者 | ||||||||
| 言語 | ja | |||||||
| 出版者 | 情報処理学会 | |||||||
