@inproceedings{oai:ipsj.ixsq.nii.ac.jp:00236549,
 author = {高瀬, 和真 and 太田, 晶 and 小林, 彰人 and 田中, 雅人},
 book = {第86回全国大会講演論文集},
 issue = {1},
 month = {Mar},
 note = {大規模言語モデル（LLMs：Large language models）についてビジネス利用するにあたり，情報漏洩等のセキュリティリスクを懸念する声が上がっている．この際に，セキュリティリスクを最小化する方法として，ローカル環境でのLLMを活用したシステムが求められている．一方で、活用するLLMに対して，どのような計算資源が必要か，一般的なベンチマーク等から理解し選定することは容易ではない．このため，開発者がローカルLLMの動作を容易に評価できるよう，GPUインスタンスとLLMの推論環境を一時的に自動構成し，スループットやレイテンシーを計測できる支援システムを提案する．},
 pages = {473--474},
 publisher = {情報処理学会},
 title = {LLMサーバ構成を選択するための評価支援システムの提案},
 volume = {2024},
 year = {2024}
}