大規模言語モデルを用いた自律型詐欺サイト分析システム

• Item type: Symposium(1)
• 公開日: 2024-10-15
• タイトル / 言語: ja
• タイトル: 大規模言語モデルを用いた自律型詐欺サイト分析システム
• タイトル / 言語: en
• タイトル: Autonomous Scam Website Detection Using Large Language Models
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_5794
• 資源タイプ: conference paper
• 著者所属: NTTセキュリティホールディングス株式会社
• 著者所属: NTTセキュリティホールディングス株式会社
• 著者所属: NTTセキュリティホールディングス株式会社
• 著者所属(英): en
• 著者所属(英): NTT Security Holdings Corporation
• 著者所属(英): en
• 著者所属(英): NTT Security Holdings Corporation
• 著者所属(英): en
• 著者所属(英): NTT Security Holdings Corporation
• 著者名: 中野, 弘樹; 小出, 駿; 千葉, 大紀
• 著者名(英): Hiroki, Nakano; Takashi, Koide; Daiki, Chiba
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 巧妙化した詐欺サイトの増加に伴い，正規サイトと詐欺サイトの識別はますます困難になっている．本研究では，大規模言語モデル（LLM）をエージェントとして活用することで，分析対象のURLに関連する情報を自律的に収集・分析を行い，詐欺サイトかどうかを識別根拠と共に出力するシステムScamFerretを提案する．従来の機械学習モデルは学習用の大規模な詐欺サイトデータセットの準備と複雑な特徴量設計による学習が必要であった．ScamFerretは，LLMの文脈理解能力を活用することで，追加の学習を必要とせずに，様々な種類や言語の詐欺サイトを正確に識別することが可能となる．本研究では，ScamFerretのサイト識別精度評価のために偽ショッピング（英語，ドイツ語，日本語），テクニカルサポート詐欺（英語），仮想通貨詐欺（英語），投資詐欺（英語）の4種別・3言語の詐欺サイトと対応する正規サイトの独自の正解データセットを作成した．正解データセットを用いた評価の結果，ScamFerretは識別精度が比較用システムよりも最大で17.5%優れていることが確認された．特にGPT-4を利用した場合，4つの詐欺種別平均で97.3%，3つの言語平均で99.3%という高精度な識別性能を示した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: As scam sites become more sophisticated, detection becomes more difficult. This study introduces ScamFerret, a system using large language models (LLMs) to autonomously collect and analyze URL information, determining scam sites. Unlike traditional models needing extensive datasets and complex feature engineering, ScamFerret leverages LLMs' contextual understanding to accurately identify various scam types and languages without additional training. Evaluations show ScamFerret outperforms comparison systems, achieving 97.3% accuracy for four scam types and 99.3% for three languages using GPT-4.
• 書誌情報: コンピュータセキュリティシンポジウム2024論文集; p. 1056-1063, 発行日 2024-10-15
• 出版者 / 言語: ja
• 出版者: 情報処理学会