格子ボルツマン法による1m格子を用いた都市部10km四方の大規模LES気流シミュレーション

• Item type: Symposium(1)
• 公開日: 2013-01-08
• タイトル: 格子ボルツマン法による1m格子を用いた都市部10km四方の大規模LES気流シミュレーション
• タイトル / 言語: en
• タイトル: A Large-scale LES Wind Simulation using Lattice Boltzmann Method for a 10km × 10km Area in Tokyo
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: アプリケーション
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_5794
• 資源タイプ: conference paper
• 著者所属: 東京工業大学
• 著者所属: 東京工業大学
• 著者所属: 東京工業大学
• 著者所属: 慶應義塾大学
• 著者名: 小野寺, 直幸; 青木, 尊之; 下川辺, 隆史; 小林, 宏充
• 著者名(英): Onodera, Naoyuki; Aoki, Takayuki; Shimokawabe, Takashi; Kobayashi, Hiromichi
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 都市は高層ビルが立ち並ぶ複雑な構造をしており，詳細な気流を解析するためには高解像度格子による大規模気流シミュレーションが必要となる．数値計算手法は単純なアルゴリズムで大規模計算に適したD3Q19モデルの格子ボルツマン法を用いた．都市の気流はレイノルズ数が100万を超えるような乱流状態になるため，ラージエディ・シミュレーション（LES)のモデルを導入する必要がある．現在良く使われている動的スマゴリンスキー・モデルでは，モデル定数を決定するために各格子点で広領域の平均操作が必要になり，大規模計算には極めて不向きである．本研究では，モデル定数を局所的に決定できるコヒーレント構造スマゴリンスキー・モデルを格子ボルツマン法に導入することに成功し，大規模な気流のLES計算を始めて可能にした．実際の建物データに基づき計算対象のエリアを領域分割し，TSUBAMEのFermiコアのGPUを用いて計算を行った．CUDAを用いてコードを実装し，並列計算の大きなオーバーヘッドとなるGPU間の通信を分割領域内の計算とオーバーラップさせることにより，実行性能を30%以上向上させることができた．格子ボルツマン法はメモリアクセスが律速の計算手法であるが，強スケーリング・弱スケーリングとも良い結果が得られ，1000GPUを用いた計算ではピーク性能の15%となる149TFLOPSの実行性能が得られた．10,080×10,240×512格子に対して4,032個のGPUを用い，新宿や皇居を含む10 km四方のエリアを1m格子で計算した．これにより、高層ビル背後の発達した渦によるビル風や幹線道路に沿って流れる「風の道」、台風の際の被害などが飛躍的な精度で予測できるようになる．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: A lot of tall buildings and complex structures in urban large cities make the air flow turbulent. In order to understand the detail of the air flow there, it is necessary to carry out large-scale CFD (Computational Fluid Dynamics) simulations. We have developed a CFD code based on LBM (Lattice Boltzmann Method) using D3Q19 model. Since air flows in large cities are turbulent with a several-millions Reynolds number, a LES (Large-Eddy Simulation) model has to be introduced to solve the LBM equation. The dynamic Smagorinsky model is often used, however it requires to take an average operation for a wide area to determine the model constant. Since it becomes huge overhead for large-scale computations, we applied the coherent-structure Smagorinsky model which does not use any spatial averages and is able to determine the model constant locally. We have generated the computational boundary condition based on the real building data and carried out the domain decomposition for multiple-GPU computing on TSUBAME 2.0. The code is written in CUDA and the GPU kernel function is well tuned to achieve high performance on Fermi-core GPUs. By introducing the overlapping technique between the GPU-to-GPU communication and the GPU kernel computation, we have improved 30% for the large-scale computation. Although the LBM computation is essentially memory bound, we obtained fairly good performances in both the strong and the weak scalabilities. We achieved 149 TFLOPS in single precision, which is compatible with 15% of the peak performance of 1,000 GPUs. We used 4,032 GPUs for the computation with 10,080 × 10,240 × 512 mesh. By executing this large-scale computation, detailed winds behind buildings, so called ”wind street” along a big street, the damage of typhoon and other will be revealed with much higher accuracy than before. The LES computation for the area 10km × 10km with 1-m resolution has never been done before in the world.
• 書誌情報: ハイパフォーマンスコンピューティングと計算科学シンポジウム論文集; 巻 2013, p. 123-131, 発行日 2013-01-08
• 出版者 / 言語: ja
• 出版者: 情報処理学会