Item type |
Trans(1) |
公開日 |
2025-01-15 |
タイトル |
|
|
タイトル |
行政DXに適した検索拡張生成システムの開発と実証実験による検証 |
タイトル |
|
|
言語 |
en |
|
タイトル |
Development of RAG System for Digital Transformation of Local Government and Its Verification with Demonstrative Experiment |
言語 |
|
|
言語 |
jpn |
キーワード |
|
|
主題Scheme |
Other |
|
主題 |
[特集号投稿論文] 大規模言語モデル, 検索拡張生成, GovTech, デジタルトランスフォーメーション, 行政文書 |
資源タイプ |
|
|
資源タイプ識別子 |
http://purl.org/coar/resource_type/c_6501 |
|
資源タイプ |
journal article |
著者所属 |
|
|
値 |
名古屋工業大学 |
著者所属 |
|
|
値 |
名古屋工業大学 |
著者所属 |
|
|
値 |
ハイラブル株式会社 |
著者所属(英) |
|
|
言語 |
en |
|
値 |
Nagoya Institute of Technology |
著者所属(英) |
|
|
言語 |
en |
|
値 |
Nagoya Institute of Technology |
著者所属(英) |
|
|
言語 |
en |
|
値 |
Hylable Inc. |
著者名 |
川島, 壮生
白松, 俊
水本, 武志
|
著者名(英) |
Soki, Kawashima
Shun, Shiramatsu
Takeshi, Mizumoto
|
論文抄録 |
|
|
内容記述タイプ |
Other |
|
内容記述 |
行政資料は年々蓄積され,行政における資料検索は職員の負荷を増大させている.本研究では行政DXのための検索拡張生成(Retrieval Augmented Generation)システムを開発し,その有効性を愛知県庁にて検証した.行政職員は過去の経緯や事例を検索する業務が頻繁にあるが,数年ごとに部署を異動するので検索に手間がかかり,大きな負担となっている.そのような過去の経緯の検索には時系列情報が重要なため,文書から時系列情報を事前に抽出しメタデータとして付与したRAGシステムを開発した.実証実験では被験者に,行政に関する課題を提示し,従来の手作業での場合とRAGシステムを使用した場合の回答精度,作業時間などを比較した.また,被験者には担当の行政職員や担当でない行政職員,学生を含め経験や知識の異なるグループを設定し,各グループにおけるRAGシステムの効果を分析した.短答式問題において行政職員は手作業に匹敵する93.3%での正答率で作業時間を23.6%削減した.学生はRAGシステムの使用によって正答率が40.0ポイント向上し,作業時間を79.8%削減した.これにより,本システムによる生産性向上の可能性が示唆された.しかし,記述問題においては,RAGシステムの使用によって回答の評価が低下したという課題も示された.さらに,行政文書を対象としたRAGのための最適な文書分割文字数について検討した.検索F値は分割文字数が長くなるほど増加した.また,長いセグメントは短答式問題でより高い精度,短いセグメントは記述問題に対してより高い評価をもたらすことが明らかになった. |
論文抄録(英) |
|
|
内容記述タイプ |
Other |
|
内容記述 |
Administrative documents are accumulating yearly, increasing the burden of document retrieval in Aichi Prefectural Government. We developed a retrieval augmented generation (RAG) system for administrative digital transformation and tested its effectiveness. Administrative officers frequently need to search for past histories and case studies, but as they transfer departments every few years, searching becomes time-consuming and a significant burden. Since chronological information is crucial for such historical searches, we developed a RAG system that pre-extracts chronological information from documents and adds it as metadata. We presented participants with tasks related to administrative issues and compared the accuracy and time taken to respond using the RAG system with those using traditional manual systems. We also set up groups with varying levels of experience and knowledge, i.e., administrative officers in charge, officers from other departments, and students, to analyze the effectiveness of the RAG system in each group. For short-answer questions, the administrative officers in charge achieved a 93.3% correct-answer rate, comparable to manual work, while reducing working time by 23.6%. Students improved their correct-answer rate by 40.0% and reduced working time by 79.8% through the RAG system use. This suggests the potential for productivity improvement with this system. However, it was also revealed that the use of the RAG system led to lower evaluation scores for descriptive questions. Furthermore, we examined the optimal document segmentation character count for RAG targeting administrative documents. Retrieval accuracy increased with longer segments, with longer segments yielding higher correct-answer rate in short-answer questions and shorter segments resulted in higher evaluations for descriptive questions. We also explored the optimal document-segmentation character count for the RAG system in administration tasks. |
書誌レコードID |
|
|
収録物識別子タイプ |
NCID |
|
収録物識別子 |
AA12894091 |
書誌情報 |
情報処理学会論文誌デジタルプラクティス(TDP)
巻 6,
号 1,
p. 12-22,
発行日 2025-01-15
|
ISSN |
|
|
収録物識別子タイプ |
ISSN |
|
収録物識別子 |
2435-6484 |
出版者 |
|
|
言語 |
ja |
|
出版者 |
情報処理学会 |