@techreport{oai:ipsj.ixsq.nii.ac.jp:00066876, author = {佐藤, 仁 and 小西, 史一 and 山本, 泰智 and 高木, 利久 and 松岡, 聡 and Hitoshi, Sato and Fumikazu, Konishi and Yasunori, Yamamoto and Toshihisa, Takagi and Satoshi, Matsuoka}, issue = {6}, month = {Nov}, note = {TSUBAME 上で Hadoop を実行するためのツール 「Tsudoop」 を開発した.Tsudoop は,既存システムの構成や運用方針の変更をすることなく,TSUBAME 上のジョブスケジューラである n1ge や Lustre ファイルシステムなどと協調して動作して Hadoop 実行環境を構築し,ユーザの MapReduce アプリケーションを実行する.予備実験として,このツールを用いて,生物医学系の学術論文を対象にした書籍情報データベースである MEDLINE に対してテキストの全文検索を行うアプリケーションを実行した.その結果,1 ノード (16 コア) での実行と 32 ノード (512 コア) での実行とを比較して 14 倍の性能向上を示し,TSUBAME のような高速な共有ファイルシステムやジョブスケジューラが存在するような計算環境でも,MapReduce アプリケーションの実行が可能なことを確認した., We developed a program, called "Tsudoop", which creates a MapReduce application execution environment on the TSUBAME supercomputer. Tsudoop enables application users to be able to run Hadoop-based MapReduce applications on TSUBAME without any modification in existing facilities and operation policies. We executed a MapReduce application, which conducts fulltext search operations to a MEDLINE bibliographic database for life sciences and biomedical information, by using 32 nodes with 512 cores via Tsudoop and confirmed 14 times speedup compared with the execution by using a single node with 16 cores. We demonstrate an example of Hadoop deployment in a computing environment in cooperation with a high-speed shared filesystem and a batch job scheduling system.}, title = {スーパーコンピュータTSUBAME上でのMapReduceの実現}, year = {2009} }