言語モデルを応用した異分野融合研究者マッチングにおけるロバスト性評価

• Item type: SIG Technical Reports(1)
• 公開日: 2023-12-13
• タイトル: 言語モデルを応用した異分野融合研究者マッチングにおけるロバスト性評価
• タイトル / 言語: en
• タイトル: Robustness Evaluation of a Method Using Language Models to Estimate the Feasibility Indicator of Interdisciplinary Research among Researchers from Different Research Fields
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 言語モデルとデータ拡張
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 国立情報学研究所
• 著者所属: 国立情報学研究所
• 著者所属: 国立情報学研究所
• 著者所属(英): en
• 著者所属(英): National Instutite of Informatics
• 著者所属(英): en
• 著者所属(英): National Instutite of Informatics
• 著者所属(英): en
• 著者所属(英): National Instutite of Informatics
• 著者名: 金沢, 輝一; 菅原, 朔; 西岡, 千文
• 著者名(英): Teruhito, Kanazawa; Saku, Sugawara; Chifumi, Nishioka
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 筆者らは言語モデルを応用して，異分野の研究者間における異分野融合研究の実施可能性を推測するマッチングシステムを開発している．言語モデルを始めとする深層学習アーキテクチャを用いたシステムには，学習データが豊富でないトピックにおいて誤った結果を出力しやすい傾向が存在する．異分野融合研究のマッチングは新規性の強い分野での精度低下が懸念される．本稿では，機械学習ベースの手法に対して機械発見指向の手法と呼ばれる Gradient Boosting Classifier (GBC) との比較によって，機械学習ベースの手法のロバスト性を評価する．科研費研究報告書の概要文を，内容の埋め込み表現に基づいて分類し，そのクラスタの一部を除外して訓練データを作成し，ファインチューニングを行った Cross Encoder を用いたマッチング結果と，同様の訓練データで訓練した GBC によるマッチング結果とを比較したところ，除外したクラスタに関する評価データ，言い換えると未学習分野において GBC の方が F 値で約 4 パーセンテージポイント高い精度を示した．全評価データでは Cross Encoder の方が約 9 パーセンテージポイント高い精度であった．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: The authors are developing a researcher matching system that utilizes a language model to estimate the feasibility of interdisciplinary research between researchers in different fields. Deep learning architectures, including language models, are prone to generate false content for topics with inadequate training data. Accurately estimating feasibility in interdisciplinary research is a concern because it is often done in highly novel fields, and the accuracy of the estimation may be low. In this report, we evaluate the robustness of the machine learning-based method by comparing it with the Gradient Boosting Classifier (GBC), which is considered a machine discovery-oriented method. We compared the estimated results of Cross Encoder, which was trained on the training data obtained by classifying the overview of Grant-in-Aid research reports based on embedded sentences and excluding one of the clusters, with the estimated results of GBC, which was trained on the same training data. The results showed that GBC was about 4 percentage points more accurate in terms of F1 score for the excluded cluster, or in other words, in the untrained field. Conversely, for all evaluation data, Cross Encoder was about 9 percentage points more accurate compared to GBC.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10114171
• 書誌情報: 研究報告情報基礎とアクセス技術（IFAT）; 巻 2023-IFAT-153, 号 2, p. 1-6, 発行日 2023-12-13
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8884
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会