確率的オートマトンとn-gramに基づくRNNに対するバグ限局

• Item type: SIG Technical Reports(1)
• 公開日: 2022-07-21
• タイトル: 確率的オートマトンとn-gramに基づくRNNに対するバグ限局
• タイトル / 言語: en
• タイトル: Fault Localization for RNNs based on Probabilistic Automata and n-grams
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 九州大学
• 著者所属: 九州大学
• 著者所属: 九州大学
• 著者所属: 九州大学
• 著者所属(英): en
• 著者所属(英): Kyushu University
• 著者所属(英): en
• 著者所属(英): Kyushu University
• 著者所属(英): en
• 著者所属(英): Kyushu University
• 著者所属(英): en
• 著者所属(英): Kyushu University
• 著者名: 石本, 優太; 近藤, 将成; 鵜林, 尚靖; 亀井, 靖高
• 著者名(英): Yuta, Ishimoto; Masanari, Kondo; Naoyasu, Ubayashi; Yasutaka, Kamei
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 近年深層学習モデルは自動運転や医療画像解析などの様々な分野で適用されている．深層学習モデルが誤動作すると，重大な事故が発生する可能性がある．この誤動作を特定し修正するために，既存研究では誤動作の原因となるモデルの構成要素（ニューロンなど）を特定し，それらを修正するアプローチが提案されてきた．しかし，これらのアプローチは入力によって変化する動的な内部状態を持つモデルである RNN（リカレントニューラルネットワーク）には適用できない．本研究では，RNN の誤動作の原因を特定するため，RNN から抽出した確率的オートマトン上の n-gram に着目したバグ限局（PAFL: Probabilistic Automaton-based Fault Localization）を提案する．PAFLは，確率的オートマトンの状態の n-gram を利用した疑惑値を計算することで，RNN の誤動作の原因を正確に特定できる．さらに，この疑惑値を利用することで，RNN の誤動作と強く関連するデータサンプルを抽出する手法も提案する．本研究の実験により，PAFL はランダムな選択アプローチと比較して，誤動作に強く関連するデータサンプルを統計的有意に抽出できることが示された．具体的には，予測の難しい 2 つのデータセット（RTMR，IMDB）において，83% の割合で PAFL はランダムに抽出したデータサンプルよりも RNN の予測精度が低いデータサンプルを抽出できる．実験結果から，PAFL は RNN のバグ限局手法として有用であることが示された．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: If deep learning models misbehave, serious accidents may occur. Previous studies have proposed approaches to overcome such misbehavior by detecting and modifying the responsible faulty parts (e.g., neurons of the network) in deep learning models. However, such approaches are not applicable to deep learning models that have internal states that change dynamically based on the input data, for example, recurrent neural networks (RNNs). To detect misbehavior RNNs, we propose PAFL, a new fault localization approach for application to RNNs. PAFL enables developers to detect faulty parts even in RNNs by computing suspiciousness scores with fault localization using n-grams. Furthermore, by using this suspiciousness score, PAFL can extract data strongly associated with RNN misbehavior. Compared to the random approach, PAFL can extract data that are statistically significantly more strongly associated with misbehavior. Specifically, in 83% of all experimental settings for two difficult datasets (i.e., RTMR and IMDB), PAFL can extract data that is difficult to predict of RNNs than randomly extracted data. Our experimental results show that PAFL is useful as a fault localization method for RNNs.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10112981
• 書誌情報: 研究報告ソフトウェア工学（SE）; 巻 2022-SE-211, 号 18, p. 1-6, 発行日 2022-07-21
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8825
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会