WEKO3
アイテム
LLMサーバ構成を選択するための評価支援システムの提案
https://ipsj.ixsq.nii.ac.jp/records/236549
https://ipsj.ixsq.nii.ac.jp/records/236549604c34ed-d294-470b-9844-1caff799df09
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-Z86-7ZC-08.pdf (441.1 kB)
|
Copyright (c) 2024 by the Information Processing Society of Japan
|
| Item type | National Convention(1) | |||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2024-03-01 | |||||||||||||
| タイトル | ||||||||||||||
| タイトル | LLMサーバ構成を選択するための評価支援システムの提案 | |||||||||||||
| 言語 | ||||||||||||||
| 言語 | jpn | |||||||||||||
| キーワード | ||||||||||||||
| 主題Scheme | Other | |||||||||||||
| 主題 | ネットワーク | |||||||||||||
| 資源タイプ | ||||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_5794 | |||||||||||||
| 資源タイプ | conference paper | |||||||||||||
| 著者所属 | ||||||||||||||
| 日本工学院八王子専門学校 | ||||||||||||||
| 著者所属 | ||||||||||||||
| 日本工学院八王子専門学校 | ||||||||||||||
| 著者所属 | ||||||||||||||
| 日本工学院八王子専門学校 | ||||||||||||||
| 著者所属 | ||||||||||||||
| エイビット | ||||||||||||||
| 著者名 |
高瀬, 和真
× 高瀬, 和真
× 太田, 晶
× 小林, 彰人
× 田中, 雅人
|
|||||||||||||
| 論文抄録 | ||||||||||||||
| 内容記述タイプ | Other | |||||||||||||
| 内容記述 | 大規模言語モデル（LLMs：Large language models）についてビジネス利用するにあたり，情報漏洩等のセキュリティリスクを懸念する声が上がっている．この際に，セキュリティリスクを最小化する方法として，ローカル環境でのLLMを活用したシステムが求められている．一方で、活用するLLMに対して，どのような計算資源が必要か，一般的なベンチマーク等から理解し選定することは容易ではない．このため，開発者がローカルLLMの動作を容易に評価できるよう，GPUインスタンスとLLMの推論環境を一時的に自動構成し，スループットやレイテンシーを計測できる支援システムを提案する． | |||||||||||||
| 書誌レコードID | ||||||||||||||
| 収録物識別子タイプ | NCID | |||||||||||||
| 収録物識別子 | AN00349328 | |||||||||||||
| 書誌情報 |
第86回全国大会講演論文集 巻 2024, 号 1, p. 473-474, 発行日 2024-03-01 |
|||||||||||||
| 出版者 | ||||||||||||||
| 言語 | ja | |||||||||||||
| 出版者 | 情報処理学会 | |||||||||||||
