ログイン 新規登録
言語:

WEKO3

  • トップ
  • ランキング
To
lat lon distance
To

Field does not validate



インデックスリンク

インデックスツリー

メールアドレスを入力してください。

WEKO

One fine body…

WEKO

One fine body…

アイテム

  1. 研究報告
  2. ハイパフォーマンスコンピューティング(HPC)
  3. 2003
  4. 83(2003-HPC-095)

Grid Datafarmにおける天文学データ解析ツールの性能評価

https://ipsj.ixsq.nii.ac.jp/records/29201
https://ipsj.ixsq.nii.ac.jp/records/29201
aa73a4eb-ad25-4169-bae1-42bc57f5e5d2
名前 / ファイル ライセンス アクション
IPSJ-HPC03095032.pdf IPSJ-HPC03095032.pdf (668.0 kB)
Copyright (c) 2003 by the Information Processing Society of Japan
オープンアクセス
Item type SIG Technical Reports(1)
公開日 2003-08-04
タイトル
タイトル Grid Datafarmにおける天文学データ解析ツールの性能評価
タイトル
言語 en
タイトル Performance Evaluation of Astronomical Data Analysis Tools on Grid Datafarm Architecture
言語
言語 jpn
資源タイプ
資源タイプ識別子 http://purl.org/coar/resource_type/c_18gh
資源タイプ technical report
著者所属
産業技術総合研究所グリッド研究センター
著者所属
産業技術総合研究所グリッド研究センター
著者所属
産業技術総合研究所グリッド研究センター
著者所属(英)
en
Grid Technology Research Center, AIST
著者所属(英)
en
Grid Technology Research Center, AIST
著者所属(英)
en
Grid Technology Research Center, AIST
著者名 山本, 直孝 建部修見 関口, 智嗣

× 山本, 直孝 建部修見 関口, 智嗣

山本, 直孝
建部修見
関口, 智嗣

Search repository
著者名(英) Naotaka, Yamamoto Osamu, Tatebe Satoshi, Sekiguchi

× Naotaka, Yamamoto Osamu, Tatebe Satoshi, Sekiguchi

en Naotaka, Yamamoto
Osamu, Tatebe
Satoshi, Sekiguchi

Search repository
論文抄録
内容記述タイプ Other
内容記述 観測的天文学の分野では観測装置の大型化が進んでおり,得られる観測データの量が増大している.個人の研究者が得たデータを解析する場合には数台の計算機があれば十分であるが,アーカイブされている全てのデータを解析するためには大規模ストレージおよび分散処理などをサポートしたミドルウェアが必要である.そこで,ペタバイトスケールインテンシブコンピューティングのためのアーキテクチャである Grid Datafarm を用いた解析環境の構築を試みた.Grid Datafarm の参照実装であるGfarm を用いてデータ解析ツールを実行し,大規模な分散処理環境下での動作を確認した.これにより,観測データの一次処理や観測データからの天体検出を効率的に並列分散処理することができ,59ノードを用いた解析ツールの実行によって 1.5 GB/sのトータル I/O 性能が得られた.さらに,FITSファイルブラウザを動作させたことにより天文学データ解析のための基礎を整えることが出来た.一方で,メタデータサーバへのアクセスの集中によりスケーラビリティが保たれないという問題が生じ,より大規模な環境で解析環境を実現するためには改善する必要があることが明らかとなった.
論文抄録(英)
内容記述タイプ Other
内容記述 Aiming at a comprehensive study of archival data of astronomical observatories that has a possibility of new science and new knowledge in the observational astronomical field, we constructed a large-scale parallel and distributed data analysis environment using a Gfarm reference implementation of the Grid Datafarm architecture. A set of data analysis tools including data reduction tools and a source extractor tool, were successfully executed in parallel on the Gfarm parallel file system, and the parallel I/O operations has achieved data transfer rate of 1.5 GB/s using 59 cluster nodes. A FITS-file browser was also successfully executed on the file system, which gave a fundamental environment of astronomical data analysis. On the other hand, there is a scalability problem due to the concentration of filesystem metadata accesses, which needs to be improved to realize much large-scale data analysis.
書誌レコードID
収録物識別子タイプ NCID
収録物識別子 AN10463942
書誌情報 情報処理学会研究報告ハイパフォーマンスコンピューティング(HPC)

巻 2003, 号 83(2003-HPC-095), p. 185-190, 発行日 2003-08-04
Notice
SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
出版者
言語 ja
出版者 情報処理学会
戻る
0
views
See details
Views

Versions

Ver.1 2025-01-22 17:41:44.884627
Show All versions

Share

Mendeley Twitter Facebook Print Addthis

Cite as

エクスポート

OAI-PMH
  • OAI-PMH JPCOAR
  • OAI-PMH DublinCore
  • OAI-PMH DDI
Other Formats
  • JSON
  • BIBTEX

Confirm


Powered by WEKO3


Powered by WEKO3