アテンションプーリングと対照学習による長文要約

• Item type: SIG Technical Reports(1)
• 公開日: 2023-03-11
• タイトル: アテンションプーリングと対照学習による長文要約
• タイトル / 言語: en
• タイトル: Contrastive Learning with Attention Pooling for Long Document Summarization
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 分析・生成
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 芝浦工業大学大学院理工学研究科
• 著者所属: 芝浦工業大学工学部情報工学科
• 著者所属(英): en
• 著者所属(英): Graduate School of Shibaura Institute of Technology
• 著者所属(英): en
• 著者所属(英): College of Engineering, Shibaura Institute of Technology
• 著者名: 加茂, 司; 杉本, 徹
• 著者名(英): Tsukasa, Kamo; Toru, Sugimoto
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: ニューラルネットワークによる自動要約は，Transformer をベースとした事前学習モデルの登場によって精度が向上した．しかし，Transformer の自己注意機構はメモリ・計算効率が入力長の二乗に依存しており，長文を扱うのが難しい．そこで，本研究では長文を効率よく扱える Transformer を提案し，長文要約タスクに取り組む．まず，メモリ・計算効率が入力長に対して線形依存となるような代替の注意機構を二つ導入する．また，代替の注意機構が文章中の重要な情報を抜き出せるように，対照学習を利用した訓練を行う．代替の注意機構と対照学習という要素が要約精度にどのような影響を与えるかを評価実験によって明らかにする．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Automatic summarization using neural networks has improved with the advent of pre-training models based on the Transformer. However, the Transformer’s self-attention mechanism is difficult to handle long sequence because its memory and computational efficiency depend on the square of the input length. Therefore, we propose a Transformer that can efficiently handle long sequence and tackle a long document summarization. First, we introduce two alternative attention mechanisms whose memory and computational efficiency depend linearly on the input length. We also train the alternative attention mechanisms to extract important information from an input text using contrastive learning. Through evaluation experiments, we will clarify how the alternative attention mechanisms and contrastive learning affect summarization quality.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10115061
• 書誌情報: 研究報告自然言語処理（NL）; 巻 2023-NL-255, 号 14, p. 1-5, 発行日 2023-03-11
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8779
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会