@techreport{oai:ipsj.ixsq.nii.ac.jp:02000403,
 author = {安藤,厚志 and 森谷,崇史 and 堀口,翔太 and 増村,亮},
 issue = {79},
 month = {Feb},
 note = {本稿では，発話スタイルに関する情報（話者性別，音量，音高，...）を正確に認識しながら多様な表現を生成する，新たな発話スタイルキャプショニング手法を提案する．従来手法では，発話スタイルに関する語だけでなく構文に関する語も含むキャプションをそのまま正解文として学習するため，音声からの発話スタイル情報の学習が難しく，文法は正しいが発話スタイル情報に誤りがある文を生成しやすいという課題があった．この問題を解決するため，提案手法では発話スタイル情報を表す音声因子句を導入し，音声因子句を生成させたのちキャプションを生成させるようモデル学習を行うことで，発話スタイル情報を明示的に学習させる．さらに，発話スタイル情報を正確に認識しながら多様なキャプションを生成させるための新たなデコーディング手法も提案する．実験の結果，提案手法は従来手法に比べて発話スタイル情報をより高精度に認識しつつ，より多様なキャプションを生成できることが確認された．, This work presents a novel speaking-style captioning method that generates diverse descriptions while accurately including speaking-style information such as gender, pitch, and volume. Conventional methods rely on original captions, which contain not only speaking-style-related terms but also syntactic words, making it difficult to learn speaking-style characteristics from speech and often resulting in incorrect captions. To address this problem, the proposed method introduces factor-conditioned captioning (FCC), which first outputs a factor phrase representing speaking-style information and then generates a caption to ensure the model explicitly learns speaking-style factors. Additionally, we propose greedy-then-sampling (GtS) decoding, which first predicts speaking-style factors deterministically to guarantee semantic accuracy and then generates a caption based on factor-conditioned sampling to ensure diversity. Experiments show that the proposed method generates more diverse captions while improving style prediction performance compared to conventional methods.},
 title = {音声因子句による条件付けを用いた発話スタイルキャプショニング},
 year = {2025}
}