WEKO3
アイテム
隠れ状態を活用した大規模言語モデルの出力根拠分析の高速化手法
https://ipsj.ixsq.nii.ac.jp/records/2002153
https://ipsj.ixsq.nii.ac.jp/records/20021535b80a496-38ab-43ff-8bcf-2decf9c4a4f3
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-IOT25069005.pdf (1.6 MB)
2999年12月31日からダウンロード可能です。
|
Copyright (c) 2025 by the Institute of Electronics, Information and Communication Engineers This SIG report is only available to those in membership of the SIG.
|
|
| IOT:会員：¥0, DLIB:会員：¥0 | ||
| Item type | SIG Technical Reports(1) | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2025-05-22 | |||||||||
| タイトル | ||||||||||
| 言語 | ja | |||||||||
| タイトル | 隠れ状態を活用した大規模言語モデルの出力根拠分析の高速化手法 | |||||||||
| タイトル | ||||||||||
| 言語 | en | |||||||||
| タイトル | A Method for Speeding up Analysis of Evidence for Large Language Model Outputs using Hidden States | |||||||||
| 言語 | ||||||||||
| 言語 | jpn | |||||||||
| キーワード | ||||||||||
| 主題Scheme | Other | |||||||||
| 主題 | ICM | |||||||||
| 資源タイプ | ||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||
| 資源タイプ | technical report | |||||||||
| 著者所属 | ||||||||||
| 日本電信電話株式会社NTTネットワークイノベーションセンタ | ||||||||||
| 著者所属 | ||||||||||
| 日本電信電話株式会社NTTネットワークイノベーションセンタ | ||||||||||
| 著者所属(英) | ||||||||||
| en | ||||||||||
| NTT Network Innovation Center, NTT Corporation | ||||||||||
| 著者所属(英) | ||||||||||
| en | ||||||||||
| NTT Network Innovation Center, NTT Corporation | ||||||||||
| 著者名 |
佐藤,千尋
× 佐藤,千尋
× 丹治,直幸
|
|||||||||
| 著者名(英) |
Chihiro Sato
× Chihiro Sato
× Naoyuki Tanji
|
|||||||||
| 論文抄録 | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | 近年の大規模言語モデル(LLM)の進歩により，ネットワーク(NW)オペレーション分野において，トラブルチケットの解析などにLLMの活用が検討されている．しかし，LLMには事実と異なる誤った出力をする幻覚という課題があり，活用の障害となっている．NWオペレーションでは障害の分析・対処の誤りが人為的な障害の発生/拡大につながるため，LLMを活用する際には出力が正しいものであるかを保守者が判断するために，出力の根拠を確認できることが重要である．これに対し，コンテキストの一部を削除した際の生成確率の変化に着目して，LLMの出力に対するコンテキストの各文の寄与度を分析し，出力の根拠を抽出する手法が提案されている．しかし，分単位での対応が求められる障害対応では，寄与度分析もまた迅速に完了する必要があるが，既存手法では多数の削除パターンに対してLLMを使って生成確率を求めるために計算量が多く，分析に時間がかかるという課題がある．そこで，本稿では，LLMの隠れ状態に着目し，コンテキストの一部削除の代わりに隠れ状態の一部削除を行うことで，寄与度分析の計算量を削減する手法を提案する． | |||||||||
| 論文抄録(英) | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | With the recent advances in large language models (LLM), the use of LLMs has been considered for analyzing trouble tickets in the field of network operations. However, LLMs have an issue of hallucination that produces incorrect output, which is an obstacle to their utilization. In NW operations, errors in analyzing and handling failures lead to the occurrence/ex-pansion of human-caused failures, so it is important for the maintainers to be able to confirm the evidence of the outputs in order to judge whether the outputs are correct or not. In response to this, a method has been proposed to extract the evidence of the output by analyzing the contribution of each sentence of the context to the output of the LLM, focusing on the change in the generation probability when a part of the context is deleted. However, in the case of fault handling, which requires a minute-by-minute response, the contribution analysis also needs to be completed quickly, but existing methods require a large amount of computation to calculate the generation probability using LLMs for a large number of deletion patterns, which makes the analysis time-consuming. To address this issue, this paper proposes a novel method that focuses on the hidden states of the LLM. The proposed method reduces the computational complexity of contribution analysis by partially deleting hidden states instead of partially deleting contexts. | |||||||||
| 書誌レコードID | ||||||||||
| 収録物識別子タイプ | NCID | |||||||||
| 収録物識別子 | AA12326962 | |||||||||
| 書誌情報 |
研究報告インターネットと運用技術（IOT） 巻 2025-IOT-69, 号 5, p. 1-6, 発行日 2025-05-22 |
|||||||||
| ISSN | ||||||||||
| 収録物識別子タイプ | ISSN | |||||||||
| 収録物識別子 | 2188-8787 | |||||||||
| Notice | ||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||
| 出版者 | ||||||||||
| 言語 | ja | |||||||||
| 出版者 | 情報処理学会 | |||||||||
