2026-03-17T16:26:09Z https://ipsj.ixsq.nii.ac.jp/oai

oai:ipsj.ixsq.nii.ac.jp:00238503 2025-01-19T08:32:51Z 1164:4179:11560:11760

トークン率を用いた大規模Webコーパスからのドメイン抽出法 伊東, 和香 小原, 有以 長谷川, 愛珠 相馬, 菜生 倉光, 君郎 言語資源・評価 現在，大規模言語モデル（Large Language Model, LLM）の研究開発が盛んに行われているが，特定のドメインにおける LLM の応用も期待されている．ただし一般的な Web コーパスで学習された LLM はドメイン知識が不足することが懸念されている．ドメインに特化したコーパスで LLM を事前学習させることが理想的だが，これらのコーパスの収集や作成は容易ではない．本研究では大規模な Web コーパスから特定のドメインに関連するテキストのみを抽出する手法を提案する．提案手法では，あるドメイン専用のサブワード辞書を作成した後に，Web コーパスに含まれるテキストのトークン率を算出し，テキストをドメイン関連またはドメイン非関連に分類する．これにより，効率的にドメイン関連テキストを抽出し，ドメインコーパスを作成することができる．本論文では提案手法を紹介するとともに，複数のドメインで実験を行い，サブワード辞書の品質調査結果とドメインテキストの抽出結果を報告する． technical report 情報処理学会 2024-08-27 application/pdf 研究報告自然言語処理（NL） 10 2024-NL-261 1 7 2188-8779 AN10115061 https://ipsj.ixsq.nii.ac.jp/record/238503/files/IPSJ-NL24261010.pdf jpn