BERTにおける文書分類の判断根拠の提示に関する一考察

• Item type: SIG Technical Reports(1)
• 公開日: 2022-06-22
• タイトル: BERTにおける文書分類の判断根拠の提示に関する一考察
• タイトル / 言語: en
• タイトル: A Study on Interpretability of News Document Classification by BERT
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 深層学習の根拠・性能調査
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 工学院大学
• 著者所属: 工学院大学
• 著者所属: 工学院大学
• 著者所属(英): en
• 著者所属(英): Kougakuin Univercity
• 著者所属(英): en
• 著者所属(英): Kougakuin Univercity
• 著者所属(英): en
• 著者所属(英): Kougakuin Univercity
• 著者名: 為栗, 敦生; 高橋, 良颯; 山口, 実靖
• 著者名(英): Atsuki, Tamekuri; Yoshihaya, Takahashi; Saneyasu, Yamaguchi
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 深層学習は自然言語処理などの発展に大きな貢献をしているが，深層学習は正しい結論を導き出せるがその判断根拠が分からないブラックボックスであるとの指摘がある．この指摘に対して，判断根拠を提示する研究が取り組まれている．我々は過去に，Self-Attention に基づく深層学習による文書の話題分類タスクに対して判断根拠を提示する手法を提案し，性能評価によりその有効性を示した．本稿では，当該手法を BERT に適用することにつていて考察する．具体的には，当該手法の BERT への適用方法についての考察や，マスク機能を用いた判断根拠の提示の適切さの評価に関する考察を行う．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Deep learning is widely used in natural language processing (NLP). However, it has been pointed out that although deep learning accurately processes NLP tasks, a user cannot interpret the basis of the decision. In this paper, we introduce some existing methods for providing interpretability on its decision. We then extend them and apply them to NLP tasks by a state-of-the-art NLP method.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10115061
• 書誌情報: 研究報告自然言語処理（NL）; 巻 2022-NL-252, 号 2, p. 1-6, 発行日 2022-06-22
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8779
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会