WEKO3
アイテム
BERTによる文書分類のためのストップワード自動選定と確率的除去
https://ipsj.ixsq.nii.ac.jp/records/2005275
https://ipsj.ixsq.nii.ac.jp/records/20052755aa09b9a-3a25-4fea-ac71-c22f2ceb60b6
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-TOD1804005.pdf (700.2 KB)
2027年10月30日からダウンロード可能です。
|
Copyright (c) 2025 by the Information Processing Society of Japan
|
|
| 非会員：¥660, IPSJ:学会員：¥330, DBS:会員：¥0, IFAT:会員：¥0, DLIB:会員：¥0 | ||
| Item type | Trans(1) | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2025-10-30 | |||||||||
| タイトル | ||||||||||
| 言語 | ja | |||||||||
| タイトル | BERTによる文書分類のためのストップワード自動選定と確率的除去 | |||||||||
| タイトル | ||||||||||
| 言語 | en | |||||||||
| タイトル | Investigating Information Needs During Spreadsheet Data Analysis | |||||||||
| 言語 | ||||||||||
| 言語 | jpn | |||||||||
| キーワード | ||||||||||
| 主題Scheme | Other | |||||||||
| 主題 | [研究論文] ストップワード，Attention，TF-IDF，BERT，ニューラルネットワーク，文書分類，機械学習 | |||||||||
| 資源タイプ | ||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_6501 | |||||||||
| 資源タイプ | journal article | |||||||||
| 著者所属 | ||||||||||
| 岐阜大学工学部 | ||||||||||
| 著者所属 | ||||||||||
| 岐阜大学工学部 | ||||||||||
| 著者所属(英) | ||||||||||
| en | ||||||||||
| Gifu University | ||||||||||
| 著者所属(英) | ||||||||||
| en | ||||||||||
| Gifu University | ||||||||||
| 著者名 |
桑原,悠希
× 桑原,悠希
× 鈴木,優
|
|||||||||
| 著者名(英) |
Yuki Kuwabara
× Yuki Kuwabara
× Yu Suzuki
|
|||||||||
| 論文抄録 | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | ストップワードリストとは，文書分類や情報検索の精度向上のために処理対象から除外される単語群である．本研究では，ニューラルネットワークに基づく分類器であるBERTを用いて文書分類の精度を向上させるため，文書集合から自動的にストップワードを選定する手法を提案する．精度向上に有効なストップワードは文書の特徴を反映すべきであるため，自動的な選定は難しい．我々の手法は誤分類の原因となる単語，つまり誤分類された文書で重要度が高く，正しく分類された文書では重要度が低い単語を特定し，ストップワードとして設定する．単語の重要度を測定するためにAttentionとTF-IDFという2つの指標を組み合わせる．従来のストップワード除去が対象単語を一律に削除するのに対し，本手法では重要度に基づいて，ストップワードを一定の確率で特殊トークン[MASK]に置き換える．5つのデータセットを用いた実験の結果，本手法がストップワードを用いない場合と比較して分類精度を有意に向上させることを確認した． | |||||||||
| 論文抄録(英) | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | A stopword list comprises words excluded from processing to enhance document classification and retrieval accuracy. In this study, we propose an automatic method for generating stopwords to improve document classification accuracy using BERT, a neural network-based classifier. Effective stopwords should reflect document characteristics, making automatic selection challenging. Our method identifies words causing misclassification―those highly important in incorrectly classified documents but less so in correctly classified ones―and designates them as stopwords. We combine Attention and TF-IDF metrics to measure word importance. Unlike conventional stopword removal, which uniformly deletes stopwords, our method probabilistically replaces identified stopwords with the special token [MASK] based on their importance. Experiments on five datasets confirm our method's effectiveness, significantly improving classification accuracy compared to methods not using stopwords. | |||||||||
| 書誌レコードID | ||||||||||
| 収録物識別子タイプ | NCID | |||||||||
| 収録物識別子 | AA11464847 | |||||||||
| 書誌情報 |
情報処理学会論文誌データベース（TOD） 巻 18, 号 4, p. 29-38, 発行日 2025-10-30 |
|||||||||
| ISSN | ||||||||||
| 収録物識別子タイプ | ISSN | |||||||||
| 収録物識別子 | 1882-7799 | |||||||||
| 出版者 | ||||||||||
| 言語 | ja | |||||||||
| 出版者 | 情報処理学会 | |||||||||
