@techreport{oai:ipsj.ixsq.nii.ac.jp:00218703,
 author = {アーノ, 有里紗 and 岩間, 太 and 吉田, 一星 and 吉濱, 佐知子},
 issue = {13},
 month = {Jun},
 note = {情報システムのテストは，通常，システムへの入力値とその入力値に対して期待されるシステムからの出力値（期待値）を事前に準備し，入力値に対してシステムが期待値を出力することを確認することで実施される．しかしながら，ある種のシステムでは入力に対する期待値をあらかじめ定めることが実践的に困難であることが知られており，そのようなシステムの性質をテストするための方法としてメタモルフィックテストが提案されている．機械学習により得られたモデルに依存しているモジュールや，利用コンテキストに強く依存した結果を返すシステムなどがこのようなシステムに該当するが，近年の自然言語処理を利用した一部の処理もその様なシステムであると考えられている．本論文では，自然言語処理タスクとして stance detection を取り上げ，文章間の賛成/反対を評価する pro/con 評価器が，推移的な一貫性を持つことをテストするためのメタモルフィックテストを考案する．またテスト入力データをニュース記事ストアから機械的に取り出し比較させることで，このテストを自動化するためのテスティングシステムを構築する．構築したシステムを用いて IBM Debater の pro/con 評価器をテストすることで，推移的な一貫性を満たない入出力ペアを発見し，pro/con 評価器の精度向上に役立つ訓練データを生成することができた．},
 title = {Pro/Conスコア評価器に対する推移関係を使用したメタモルフィックテスト},
 year = {2022}
}