WEKO3
アイテム
LoRAによる機密情報を扱うLLM実現の試み
https://ipsj.ixsq.nii.ac.jp/records/2004151
https://ipsj.ixsq.nii.ac.jp/records/2004151b7c5da76-32c2-4abe-8908-5bf3e9fa2093
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-DBS25181010.pdf (941.6 KB)
2027年9月9日からダウンロード可能です。
|
Copyright (c) 2025 by the Information Processing Society of Japan
|
|
| 非会員：¥660, IPSJ:学会員：¥330, DBS:会員：¥0, DLIB:会員：¥0 | ||
| Item type | SIG Technical Reports(1) | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2025-09-09 | |||||||||
| タイトル | ||||||||||
| 言語 | ja | |||||||||
| タイトル | LoRAによる機密情報を扱うLLM実現の試み | |||||||||
| タイトル | ||||||||||
| 言語 | en | |||||||||
| タイトル | Attempt to realize LLM handling confidential documents using LoRA | |||||||||
| 言語 | ||||||||||
| 言語 | jpn | |||||||||
| キーワード | ||||||||||
| 主題Scheme | Other | |||||||||
| 主題 | DBS | |||||||||
| 資源タイプ | ||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||
| 資源タイプ | technical report | |||||||||
| 著者所属 | ||||||||||
| 九州大学工学部 | ||||||||||
| 著者所属 | ||||||||||
| 九州大学情報基盤研究開発センター | ||||||||||
| 著者名 |
柳原,皓之介
× 柳原,皓之介
× 伊東,栄典
|
|||||||||
| 論文抄録 | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | 現代の組織において、業務で生成された膨大な文書がデジタルデータとして蓄積されている。多くの組織内蓄積データは死蔵状態にあり、潜在的な価値が活用されていない。死蔵データ活用にはデータ分析が必要であるけれど、組織内蓄積データは機密情報や個人情報を含むため、クラウド等の外部サービスによる活用が困難である。我々は、機密性文書群を安全に活用するため、データ外部漏洩リスクの無いローカル小規模言語モデル(LLM)のチューニングを試みている。既存の公開LLMを基盤とし、学習用データセットでチューニングする。手法として、LoRA (Low-Rank Adaptation)およびRAG (Retrieval-Augmented Generation)を試みた。LoRA化の処理時間短縮のため、高性能GPUを持つ九州大学のスーパーコンピュータ「玄界」を用いた。機密情報の外部漏洩を避けるため、組織内の閉じたネットワーク環境で動作する低性能GPU搭載PCサーバ上でLoRAまたはRAGに対応したLLMを動作させる。本稿では組織内文書群によるLLMチューニングの実現方法を述べる。またチューニングによる性能評価も検討する。 | |||||||||
| 書誌レコードID | ||||||||||
| 収録物識別子タイプ | NCID | |||||||||
| 収録物識別子 | AB0006854X | |||||||||
| 書誌情報 |
研究報告データベースとデータサイエンス（DBS） 巻 2025-DBS-181, 号 10, p. 1-6, 発行日 2025-09-09 |
|||||||||
| ISSN | ||||||||||
| 収録物識別子タイプ | ISSN | |||||||||
| 収録物識別子 | 2760-0777 | |||||||||
| Notice | ||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||
| 出版者 | ||||||||||
| 言語 | ja | |||||||||
| 出版者 | 情報処理学会 | |||||||||
