| Item type |
SIG Technical Reports(1) |
| 公開日 |
2026-02-09 |
| タイトル |
|
|
言語 |
ja |
|
タイトル |
コサイン類似度を用いたクラウド環境に適用可能なデータパイプラインのジョブ割り当て手法 |
| 言語 |
|
|
言語 |
jpn |
| キーワード |
|
|
主題Scheme |
Other |
|
主題 |
クラウド・仮想化 |
| 資源タイプ |
|
|
資源タイプ識別子 |
http://purl.org/coar/resource_type/c_18gh |
|
資源タイプ |
technical report |
| 著者所属 |
|
|
|
NTT株式会社 |
| 著者所属 |
|
|
|
NTT株式会社 |
| 著者所属 |
|
|
|
NTT株式会社 |
| 著者所属 |
|
|
|
NTT株式会社 |
| 著者所属 |
|
|
|
NTT株式会社 |
| 著者所属 |
|
|
|
NTT株式会社 |
| 著者所属(英) |
|
|
|
en |
|
|
Software Innovation Center, NTT, Inc. |
| 著者所属(英) |
|
|
|
en |
|
|
Software Innovation Center, NTT, Inc. |
| 著者所属(英) |
|
|
|
en |
|
|
Software Innovation Center, NTT, Inc. |
| 著者所属(英) |
|
|
|
en |
|
|
Software Innovation Center, NTT, Inc. |
| 著者所属(英) |
|
|
|
en |
|
|
Software Innovation Center, NTT, Inc. |
| 著者所属(英) |
|
|
|
en |
|
|
Software Innovation Center, NTT, Inc. |
| 著者名 |
于,賢洋
森田,俊平
古谷,太一
後藤,義貴
加藤,淳也
金丸,朗
|
| 論文抄録 |
|
|
内容記述タイプ |
Other |
|
内容記述 |
近年，カメラデータの分析や異常検知などのストリーミング処理を，大規模計算基盤（クラウド）側に集約する事例が増加している．ストリーミング処理は一般的に複数のジョブ（ステージ）が連結したデータパイプライン型アーキテクチャとして構成され，低レイテンシでの処理が求められる．クラウド環境でストリーミング処理を集約する際には，各アプリケーションの各ステージを物理ノードに割り当てる必要がある．このとき，コスト削減のために使用ノード数を最小化する必要がある一方，低レイテンシを実現するためには，隣接ステージを同一ノードに配置（共配置）してステージ間通信遅延を削減することも重要となる．各ノードには複数種類の資源（CPU・メモリ等）に容量制約があり，各ステージはそれぞれ資源を消費するようなモデル化ができるため，この問題は容量と共配置を目的関数に組み込んだ多次元ビンパッキングとして定式化できる．これは整数計画法により厳密解を求めることが出来るが，大規模環境では厳密最適化は困難である．高速で求解するヒューリスティック手法として，従来貪欲法が使用されてきた一方で，その解の質は最適解から乖離する．本研究では，使用ノード数の最小化を主目的としつつ，同一アプリケーション内の連続ステージ共配置を最大化するヒューリスティック手法を提案する．提案手法は，各ノードが持つリソースの容量ベクトルと各ステージが持つ需要ベクトルのコサイン類似度に基づく選択を貪欲法による割当に組み込み，ノードにアプリケーションの各ステージを割り当てるものである．さらに，得られた解に対して使用するノード数の削減および共配置改善を目的とする再割当を適用する．最適解との比較に際し，整数計画法により求解可能な規模に限定した条件下で評価を行った．その結果，貪欲法が最適解に対し1.8倍のノードを要するのに対し，提案手法は1.2倍に留まり，共配置性の向上も確認された．また，同一のアプリケーション割当に対して，整数計画法による最適化より最大で約103―104倍高速に解を導出できることを示した．整数計画法では困難な大規模環境として1000台の物理ノードを想定した場合では，本手法は貪欲法と比較して最大で40%のノード数を削減することができた．本手法は，クラウド上のストリーミング処理，ひいてはリアルタイム処理における配置計画の候補生成に有効である． |
| 書誌レコードID |
|
|
収録物識別子タイプ |
NCID |
|
収録物識別子 |
AN10444176 |
| 書誌情報 |
研究報告システムソフトウェアとオペレーティング・システム（OS）
巻 2026-OS-170,
号 9,
p. 1-8,
発行日 2026-02-09
|
| ISSN |
|
|
収録物識別子タイプ |
ISSN |
|
収録物識別子 |
2188-8795 |
| Notice |
|
|
|
SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. |
| 出版者 |
|
|
言語 |
ja |
|
出版者 |
情報処理学会 |
IPSJ-OS26170009.pdf (1.9 MB)
