マニュアルQAタスクに特化したLLMファインチューニングのための頻出質問観点に基づくデータ拡張手法

• Item type: SIG Technical Reports(1)
• 公開日: 2024-06-13
• タイトル: マニュアルQAタスクに特化したLLMファインチューニングのための頻出質問観点に基づくデータ拡張手法
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 数理モデル化と問題解決1
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 株式会社NTTデータグループ技術革新統括本部システム技術本部／株式会社NTTデータ関西第一公共事業部
• 著者所属: 株式会社NTTデータグループ技術革新統括本部システム技術本部
• 著者名: 森田, 将司; 湯浅, 晃
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: GPT-4 等の巨大パラメータをもつ大規模言語モデル（LLM）にはエネルギー消費や特定ドメインへの適用の課題があり，そのため小規模パラメータモデルの研究が盛んになされている．大規模モデルと同等の性能を実現するためには学習データの量や質の課題があり，解決策として大規模モデルを用いて学習データを生成するアプローチが効果的であることが知られている．本稿では，自動車オーナーズマニュアルに基づき，コンテキストをもとに回答する closedQA タスク向けの効果的なデータ拡張手法を提案する．提案手法は頻出質問と質問カテゴリのペアをランダムサンプリングしたものとコンテキストとなるマニュアルを GPT-4 にプロンプトとして与えることで学習データを拡張生成する．実験の結果，本手法によって生成された学習データを用いてファインチューニングした小規模 LLM の性能が GPT-4 と同等となることが確認された．また，本手法により従来手法である Few-shot 法を上回る性能が得られることを確認した．提案手法によって，特定ドメインの QA タスクにおける小規模 LLM のさらなる応用が期待される．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA12055912
• 書誌情報: 研究報告バイオ情報学（BIO）; 巻 2024-BIO-78, 号 43, p. 1-2, 発行日 2024-06-13
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8590
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会