生成AIを活用したDXスキル標準に準拠したスキルサーベイ問題DBの構築と妥当性評価

• Item type: SIG Technical Reports(1)
• 公開日: 2024-09-28
• タイトル: 生成AIを活用したDXスキル標準に準拠したスキルサーベイ問題DBの構築と妥当性評価
• タイトル / 言語: en
• タイトル: Construction and validation of a skill survey question database based on DX skill standards that utilize generative AI
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 一般セッション(3)&研究論文セッション
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 広島市立大学大学院情報科学研究科
• 著者所属: 広島市立大学大学院情報科学研究科
• 著者所属: 広島市立大学大学院情報科学研究科
• 著者所属(英): en
• 著者所属(英): Hiroshima City University Graduate School of Information Sciences and Technology
• 著者所属(英): en
• 著者所属(英): Hiroshima City University Graduate School of Information Sciences and Technology
• 著者所属(英): en
• 著者所属(英): Hiroshima City University Graduate School of Information Sciences and Technology
• 著者名: 坂本, 昌宏; 松原, 行宏; 毛利, 考佑
• 著者名(英): Masahiro, Sakamoto; Yukihiro, Matsubara; Kousuke, Mouri
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 少子高齢化社会を迎えつつある現在，地方自治体においても「消滅可能性都市」という言葉が取り上げられるようになり，デジタル技術を活用した行政の効率化は待ったなしの状況である．こういった状況を踏まえて，広島市職員の DX リテラシー向上を目指し，研修コンテンツを開発してきた．研修の効果として広島市役所における DX 推進件数の増加は見られたものの，教材の網羅性及び難易度が今後の課題として浮上した．これに対して，2022 年 12 月に経済産業省・IPA（= Information-technology Promotion Agency，Japan: 独立行政法人情報処理推進機構）が発表した「デジタルスキル標準」に準拠した研修コンテンツの作成に先立ち，職員のスキルレベルを測るためのサーベイ問題群を生成 AI を使って作成することとした．なお，生成 AI を用いた問題 DB 作成に関する先行研究において，生成 AI が作成したテストの妥当性を確認するため，代替元となるテストや，既存の成績データやスキル測定の対象分野に関するテキストの網羅性が用いられているが，デジタルスキル標準は登場したばかりであり，何をもって妥当であるかという判断根拠が無いことから，これら先行研究の手法を用いることができない．これに対して，受験結果について IRT-2PL の識別率を求めることよって理想的な問題であると判定するという新しいアプローチを試し，その識別率を高めるために有効な複数の生成 AI を利用した，作問に有効なプロンプトについて調査した結果をまとめている．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: As I approach a society with a declining birthrate and an aging population, the term “cities at risk of disappearing” is being taken up by local governments, and there is no time to lose in making government more efficient using digital technology. Considering this situation, I have developed training content with the aim of improving the DX literacy of Hiroshima City employees. Although the number of DX promotion cases at Hiroshima City Hall increased because of the training, the comprehensiveness and difficulty of the teaching materials emerged as issues for the future. In response to this, I decided to use AI to generate a set of survey questions to measure the skill levels of employees, prior to creating training content that conforms to the “Digital Skills Standards” announced by the Ministry of Economy, Trade and Industry and the IPA (Information-technology Promotion Agency, Japan) in December 2022. In previous research on the creation of question databases using generative AI, in order to confirm the validity of tests created by generative AI, alternative source tests, existing performance data, and the comprehensiveness of texts related to the subject areas of skill measurement are used, but since the digital skills standard has only just appeared, and there is no basis for determining what is valid, it is not possible to use the methods of these previous studies. In response to this, I have tried a new approach of determining whether a question is ideal by calculating the IRT-2PL discrimination rate for the test results and have summarized the results of our investigation into effective prompts that use multiple generative AIs to improve the discrimination rate.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10096193
• 書誌情報: 研究報告コンピュータと教育（CE）; 巻 2024-CE-176, 号 8, p. 1-6, 発行日 2024-09-28
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8930
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会