文字言語モデルからの単語言語モデルの教師なし合成

• Item type: SIG Technical Reports(1)
• 公開日: 2024-06-21
• タイトル: 文字言語モデルからの単語言語モデルの教師なし合成
• タイトル / 言語: en
• タイトル: Unsupervised Synthesis of Word Language Models from Pretrained Character Language Models
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: LLM基礎
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 京都大学
• 著者名: 村脇, 有吾
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: Transformer に基づく事前訓練文字言語モデルから単語言語モデルへの教師なし合成の実現可能性を示す．教師なし単語分割における興味の中心は学習を実現する帰納バイアスを明らかにすることだが，ニューラル言語モデルに基づく場合，アーキテクチャ上の制約から有限語彙を前提とするにもかかわらず，教師なし単語分割においては語彙を事前に決定できないという問題への取り組みを中心に据えざるを得ない．本稿では，この問題を解決するために多段階の訓練手続きを提案する．提案手法は単語境界における確率的不確実性を取っ掛かりとして利用しており，幼児の初期学習との関連が示唆される．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: We demonstrate the feasibility of transforming a Transformer-based pretrained character language model into a word language model without explicit supervision on word segmentation. While the main interest in unsupervised word segmentation lies in identifying the inductive biases that facilitate language acquisition, neural language models face technical challenges due to their architectural constraints requiring a fixed vocabulary, despite the inability to predefine this vocabulary in unsupervised settings. To address this issue, we propose a multi-stage training procedure. Our method leverages the stochastic uncertainty pertaining to word boundaries to bootstrap the process, suggesting a connection to early learning in infants.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10115061
• 書誌情報: 研究報告自然言語処理（NL）; 巻 2024-NL-260, 号 2, p. 1-14, 発行日 2024-06-21
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8779
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会