@techreport{oai:ipsj.ixsq.nii.ac.jp:00231492,
 author = {金沢, 輝一 and 菅原, 朔 and 西岡, 千文 and Teruhito, Kanazawa and Saku, Sugawara and Chifumi, Nishioka},
 issue = {2},
 month = {Dec},
 note = {筆者らは言語モデルを応用して，異分野の研究者間における異分野融合研究の実施可能性を推測するマッチングシステムを開発している．言語モデルを始めとする深層学習アーキテクチャを用いたシステムには，学習データが豊富でないトピックにおいて誤った結果を出力しやすい傾向が存在する．異分野融合研究のマッチングは新規性の強い分野での精度低下が懸念される．本稿では，機械学習ベースの手法に対して機械発見指向の手法と呼ばれる Gradient Boosting Classifier (GBC) との比較によって，機械学習ベースの手法のロバスト性を評価する．科研費研究報告書の概要文を，内容の埋め込み表現に基づいて分類し，そのクラスタの一部を除外して訓練データを作成し，ファインチューニングを行った Cross Encoder を用いたマッチング結果と，同様の訓練データで訓練した GBC によるマッチング結果とを比較したところ，除外したクラスタに関する評価データ，言い換えると未学習分野において GBC の方が F 値で約 4 パーセンテージポイント高い精度を示した．全評価データでは Cross Encoder の方が約 9 パーセンテージポイント高い精度であった．, The authors are developing a researcher matching system that utilizes a language model to estimate the feasibility of interdisciplinary research between researchers in different fields. Deep learning architectures, including language models, are prone to generate false content for topics with inadequate training data. Accurately estimating feasibility in interdisciplinary research is a concern because it is often done in highly novel fields, and the accuracy of the estimation may be low. In this report, we evaluate the robustness of the machine learning-based method by comparing it with the Gradient Boosting Classifier (GBC), which is considered a machine discovery-oriented method. We compared the estimated results of Cross Encoder, which was trained on the training data obtained by classifying the overview of Grant-in-Aid research reports based on embedded sentences and excluding one of the clusters, with the estimated results of GBC, which was trained on the same training data. The results showed that GBC was about 4 percentage points more accurate in terms of F1 score for the excluded cluster, or in other words, in the untrained field. Conversely, for all evaluation data, Cross Encoder was about 9 percentage points more accurate compared to GBC.},
 title = {言語モデルを応用した異分野融合研究者マッチングにおけるロバスト性評価},
 year = {2023}
}