BERTの教師無しデータへの適用

• Item type: SIG Technical Reports(1)
• 公開日: 2020-06-26
• タイトル: BERTの教師無しデータへの適用
• タイトル / 言語: en
• タイトル: Application of BERT to Unsupervised Data
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: テンソル・コンサルティング株式会社
• 著者所属: テンソル・コンサルティング株式会社
• 著者所属: テンソル・コンサルティング株式会社
• 著者所属: テンソル・コンサルティング株式会社
• 著者所属: 三菱重工業株式会社ICTソリューション本部EPI部
• 著者所属: 三菱重工業株式会社ICTソリューション本部EPI部
• 著者所属: 三菱重工業株式会社ICTソリューション本部EPI部
• 著者所属: 三菱重工業株式会社バリューチェーン本部プロジェクト部
• 著者所属(英): en
• 著者所属(英): Tensor Consulting Co.Ltd.
• 著者所属(英): en
• 著者所属(英): Tensor Consulting Co.Ltd.
• 著者所属(英): en
• 著者所属(英): Tensor Consulting Co.Ltd.
• 著者所属(英): en
• 著者所属(英): Tensor Consulting Co.Ltd.
• 著者所属(英): en
• 著者所属(英): EPI Department/ICT Solution Headquarters/Mitsubishi Heavy Industries, Ltd.
• 著者所属(英): en
• 著者所属(英): EPI Department/ICT Solution Headquarters/Mitsubishi Heavy Industries, Ltd.
• 著者所属(英): en
• 著者所属(英): EPI Department/ICT Solution Headquarters/Mitsubishi Heavy Industries, Ltd.
• 著者所属(英): en
• 著者所属(英): Project Department/Value Chain Headquarters/Mitsubishi Heavy Industries, Ltd.
• 著者名: 築地, 毅; 鈴木, 晴也; 柴原, 一友; 藤本, 浩司; 池田, 龍司; 尾﨑, 和基; 森田, 克明; 松原, 敬信
• 著者名(英): Tsuyoshi, Tsukiji; Haruya, Suzuki; Kazutomo, Shibahara; Koji, Fujimoto; Ryuji, Ikeda; Kazuki, Ozaki; Katsuaki, Morita; Takanobu, Matsubara
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本稿では，BERT を利用した教師無しデータへの適用について論ずる．近年ディープラーニングの技術が確立し始めており，特に画像認識分野において，既存の技術では困難だった特徴の自動抽出を実現したことにより，非常に高い精度を上げるようになってきている．自然言語処理においてもディープラーニングの研究は広く行われているが，近年 Google により発表された BERT の功績は大きく，教師あり学習のタスクに対して，既存の成果を大きく上回る成果を上げている．本稿では，教師あり学習の精度を大きく高めた BERT を教師無しデータに適用することで，既存手法の性能向上につながる可能性があるという仮説を主張する．本稿では，特許文書を対象に，教師あり学習を行わずに特許の類似性を図る実験を行った．実験の結果，人手で付与した特許分類フラグに対し 61.9 ％の正解率となり，BERT を活用することで教師データを与えずとも，特許の類似度を表現できることを示した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: In this paper, we discuss application of documents to unsupervised data using BERT. In recent years, the technology of deep learning had begun to be established, and in the field of image recognition, the automatic extraction of features that was difficult with existing technologies has led to very high accuracy. Deep learning has been widely studied in natural language processing, but in recent years, BERT, by Google, has achieved a great deal of success and has far exceeded the existing achievements for supervised learning tasks. In this paper, we assert that applying BERT, which greatly improves the accuracy of supervised learning, to unsupervised data may lead to better performance than existing methods. We did an experiment on similarity of patents for patent documents without supervised learning. As a result, the accuracy rate was 61.9% for the manually assigned patent classification flag, and it was shown that the similarity of patents could be expressed without using training data by using BERT.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10115061
• 書誌情報: 研究報告自然言語処理（NL）; 巻 2020-NL-244, 号 4, p. 1-7, 発行日 2020-06-26
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8779
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会