Zero-shotニューラル検索のための語彙一致と文脈の類似度による関連度スコアリング

• Item type: Trans(1)
• 公開日: 2022-10-13
• タイトル: Zero-shotニューラル検索のための語彙一致と文脈の類似度による関連度スコアリング
• タイトル / 言語: en
• タイトル: Relevance Scoring with Lexical Match and Context Similarity for Zero-shot Neural Retrieval
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: [研究論文] Zero-shot検索，ニューラル検索，文脈化語彙一致検索，密ベクトル検索
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_6501
• 資源タイプ: journal article
• 著者所属: 東京工業大学
• 著者所属: 東京工業大学
• 著者所属(英): en
• 著者所属(英): Tokyo Institute of Technology
• 著者所属(英): en
• 著者所属(英): Tokyo Institute of Technology
• 著者名: 飯田, 大貴; 岡崎, 直観
• 著者名(英): Hiroki, Iida; Naoaki, Okazaki
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: BERTをエンコーダとしてクエリと文書を密ベクトルで表現し，その類似度を関連度スコアとする密ベクトル検索は，BM25などの語彙一致をベースとした検索アルゴリズムを大きく上回る性能を示している．しかし，密ベクトルに変換するエンコーダを訓練するためには，訓練データとして大量のクエリと適合文書の正解ペアが必要となる．企業内の文書検索などは，アノテーションコストからこの正解ペアを作成することが困難であり，検索システムを使用するドメインで訓練データが存在しないZero-shotと呼ばれる場合で，検索性能を向上させることが求められる．そこで，我々は，Zero-shot時に検索性能を向上させるスコアリング方法として，Contextualized BM25（C-BM25）を提案する．C-BM25は，クエリと文書で語彙が一致したトークンごとに文脈の類似度を計算し，BM25をトークンの重要度として，類似度と重要度の重み和を関連度スコアとする．我々は，Zero-shot設定の検索ベンチマークデータセットであるBEIRを用いて実験を行い，BM25と比較して約20%の性能改善をした．本手法を用いることで，Zero-shotでもエンコーダが学習した文脈情報を検索で有効に利用することが可能である．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Dense retrieval, in which queries and documents are encoded to dense vectors through BERT and the similarity of these vectors is used as relevance scores, has shown significantly better performance than ranking algorithms based on lexical matching, such as BM25. However, to train the encoder which convert queries and documents to dense vectors, we need a large amount of pairs of queries and matching documents to the queries as training data. In some cases like enterprise search, it is difficult to create such training data due to the annotation cost, and it is necessary to improve performance in what is called a “zero-shot” case where no training data exists in the target domain. Thus, we propose Contextualized BM25 (C-BM25) as a scoring method to improve retrieval performance in the case of zero-shot. The scoring of C-BM25 is weighted sum of the BM25 importance for the tokens and the context similarity of lexically matching tokens between a query and a document. We experiment with BEIR, a benchmark dataset for zero-shot settings, and show that C-BM25 improves the performance by about 20% compared to BM25. Our method enables us to utilize context information learned by the encoder for information retrieval even with zero-shot case.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11464847
• 書誌情報: 情報処理学会論文誌データベース（TOD）; 巻 15, 号 3, p. 20-35, 発行日 2022-10-13
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 1882-7799
• 出版者 / 言語: ja
• 出版者: 情報処理学会