Pro/Conスコア評価器に対する推移関係を使用したメタモルフィックテスト

• Item type: SIG Technical Reports(1)
• 公開日: 2022-06-22
• タイトル: Pro/Conスコア評価器に対する推移関係を使用したメタモルフィックテスト
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 対話
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 日本アイ・ビー・エム東京基礎研究所
• 著者所属: 日本アイ・ビー・エム東京基礎研究所
• 著者所属: 日本アイ・ビー・エム東京基礎研究所
• 著者所属: 日本アイ・ビー・エム東京基礎研究所
• 著者名: アーノ, 有里紗; 岩間, 太; 吉田, 一星; 吉濱, 佐知子
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 情報システムのテストは，通常，システムへの入力値とその入力値に対して期待されるシステムからの出力値（期待値）を事前に準備し，入力値に対してシステムが期待値を出力することを確認することで実施される．しかしながら，ある種のシステムでは入力に対する期待値をあらかじめ定めることが実践的に困難であることが知られており，そのようなシステムの性質をテストするための方法としてメタモルフィックテストが提案されている．機械学習により得られたモデルに依存しているモジュールや，利用コンテキストに強く依存した結果を返すシステムなどがこのようなシステムに該当するが，近年の自然言語処理を利用した一部の処理もその様なシステムであると考えられている．本論文では，自然言語処理タスクとして stance detection を取り上げ，文章間の賛成/反対を評価する pro/con 評価器が，推移的な一貫性を持つことをテストするためのメタモルフィックテストを考案する．またテスト入力データをニュース記事ストアから機械的に取り出し比較させることで，このテストを自動化するためのテスティングシステムを構築する．構築したシステムを用いて IBM Debater の pro/con 評価器をテストすることで，推移的な一貫性を満たない入出力ペアを発見し，pro/con 評価器の精度向上に役立つ訓練データを生成することができた．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10115061
• 書誌情報: 研究報告自然言語処理（NL）; 巻 2022-NL-252, 号 13, p. 1-5, 発行日 2022-06-22
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8779
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会