WEKO3
アイテム
Grid Datafarmにおける天文学データ解析ツールの性能評価
https://ipsj.ixsq.nii.ac.jp/records/29201
https://ipsj.ixsq.nii.ac.jp/records/29201aa73a4eb-ad25-4169-bae1-42bc57f5e5d2
名前 / ファイル | ライセンス | アクション |
---|---|---|
![]() |
Copyright (c) 2003 by the Information Processing Society of Japan
|
|
オープンアクセス |
Item type | SIG Technical Reports(1) | |||||||
---|---|---|---|---|---|---|---|---|
公開日 | 2003-08-04 | |||||||
タイトル | ||||||||
タイトル | Grid Datafarmにおける天文学データ解析ツールの性能評価 | |||||||
タイトル | ||||||||
言語 | en | |||||||
タイトル | Performance Evaluation of Astronomical Data Analysis Tools on Grid Datafarm Architecture | |||||||
言語 | ||||||||
言語 | jpn | |||||||
資源タイプ | ||||||||
資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||
資源タイプ | technical report | |||||||
著者所属 | ||||||||
産業技術総合研究所グリッド研究センター | ||||||||
著者所属 | ||||||||
産業技術総合研究所グリッド研究センター | ||||||||
著者所属 | ||||||||
産業技術総合研究所グリッド研究センター | ||||||||
著者所属(英) | ||||||||
en | ||||||||
Grid Technology Research Center, AIST | ||||||||
著者所属(英) | ||||||||
en | ||||||||
Grid Technology Research Center, AIST | ||||||||
著者所属(英) | ||||||||
en | ||||||||
Grid Technology Research Center, AIST | ||||||||
著者名 |
山本, 直孝
建部修見
関口, 智嗣
× 山本, 直孝 建部修見 関口, 智嗣
|
|||||||
著者名(英) |
Naotaka, Yamamoto
Osamu, Tatebe
Satoshi, Sekiguchi
× Naotaka, Yamamoto Osamu, Tatebe Satoshi, Sekiguchi
|
|||||||
論文抄録 | ||||||||
内容記述タイプ | Other | |||||||
内容記述 | 観測的天文学の分野では観測装置の大型化が進んでおり,得られる観測データの量が増大している.個人の研究者が得たデータを解析する場合には数台の計算機があれば十分であるが,アーカイブされている全てのデータを解析するためには大規模ストレージおよび分散処理などをサポートしたミドルウェアが必要である.そこで,ペタバイトスケールインテンシブコンピューティングのためのアーキテクチャである Grid Datafarm を用いた解析環境の構築を試みた.Grid Datafarm の参照実装であるGfarm を用いてデータ解析ツールを実行し,大規模な分散処理環境下での動作を確認した.これにより,観測データの一次処理や観測データからの天体検出を効率的に並列分散処理することができ,59ノードを用いた解析ツールの実行によって 1.5 GB/sのトータル I/O 性能が得られた.さらに,FITSファイルブラウザを動作させたことにより天文学データ解析のための基礎を整えることが出来た.一方で,メタデータサーバへのアクセスの集中によりスケーラビリティが保たれないという問題が生じ,より大規模な環境で解析環境を実現するためには改善する必要があることが明らかとなった. | |||||||
論文抄録(英) | ||||||||
内容記述タイプ | Other | |||||||
内容記述 | Aiming at a comprehensive study of archival data of astronomical observatories that has a possibility of new science and new knowledge in the observational astronomical field, we constructed a large-scale parallel and distributed data analysis environment using a Gfarm reference implementation of the Grid Datafarm architecture. A set of data analysis tools including data reduction tools and a source extractor tool, were successfully executed in parallel on the Gfarm parallel file system, and the parallel I/O operations has achieved data transfer rate of 1.5 GB/s using 59 cluster nodes. A FITS-file browser was also successfully executed on the file system, which gave a fundamental environment of astronomical data analysis. On the other hand, there is a scalability problem due to the concentration of filesystem metadata accesses, which needs to be improved to realize much large-scale data analysis. | |||||||
書誌レコードID | ||||||||
収録物識別子タイプ | NCID | |||||||
収録物識別子 | AN10463942 | |||||||
書誌情報 |
情報処理学会研究報告ハイパフォーマンスコンピューティング(HPC) 巻 2003, 号 83(2003-HPC-095), p. 185-190, 発行日 2003-08-04 |
|||||||
Notice | ||||||||
SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||
出版者 | ||||||||
言語 | ja | |||||||
出版者 | 情報処理学会 |