Item type |
SIG Technical Reports(1) |
公開日 |
2022-01-13 |
タイトル |
|
|
タイトル |
Webデータに基づく質問応答システムを用いた企業活動分析・評価システムWISDOM-DXの改善 |
タイトル |
|
|
言語 |
en |
|
タイトル |
Improving Automatic Enterprise Evaluation System WISDOM-DX using QA System based on Web Information |
言語 |
|
|
言語 |
jpn |
キーワード |
|
|
主題Scheme |
Other |
|
主題 |
ネットワーク・データベース・ソフトウェア |
資源タイプ |
|
|
資源タイプ識別子 |
http://purl.org/coar/resource_type/c_18gh |
|
資源タイプ |
technical report |
著者所属 |
|
|
値 |
NECソリューションイノベータ株式会社 |
著者所属 |
|
|
値 |
独立行政法人情報処理推進機構 (IPA) |
著者所属 |
|
|
値 |
独立行政法人情報処理推進機構 (IPA) |
著者所属 |
|
|
値 |
独立行政法人情報処理推進機構 (IPA) |
著者所属 |
|
|
値 |
国立研究開発法人情報通信研究機構 (NICT) |
著者所属 |
|
|
値 |
国立研究開発法人情報通信研究機構 (NICT) |
著者所属(英) |
|
|
言語 |
en |
|
値 |
NEC Solution Innovators, Ltd. |
著者所属(英) |
|
|
言語 |
en |
|
値 |
Information-technology Promotion Agency |
著者所属(英) |
|
|
言語 |
en |
|
値 |
Information-technology Promotion Agency |
著者所属(英) |
|
|
言語 |
en |
|
値 |
Information-technology Promotion Agency |
著者所属(英) |
|
|
言語 |
en |
|
値 |
National Institute of Information and Communications Technology |
著者所属(英) |
|
|
言語 |
en |
|
値 |
National Institute of Information and Communications Technology |
著者名 |
久寿居, 大
石川, 開
市瀬, 規善
奥村, 明俊
鳥澤, 健太郎
大竹, 清敬
|
著者名(英) |
Dai, Kusui
Kai, Ishikawa
Noriyoshi, Ichinose
Akitoshi, Okumura
Kentaro, Torisawa
Kiyonori, Ohtake
|
論文抄録 |
|
|
内容記述タイプ |
Other |
|
内容記述 |
近年,デジタルトランスフォーメーション(DX)推進のために,アンケートなど各種調査に基づく分析・評価が実施されている.大規模調査では,アンケートの設計者と回答者,アンケートを分析・評価する専門家のコスト低減が課題となる.我々は,大規模かつタイムリーな調査を実現するため,専門家による評価項目を 5W1H の質問タイプとしてモデル化し,Web データに基づく質問応答システムを用いて企業の DX 活動を評価する WISDOM-DX を開発した.WISDOM-DX は,5W1H に関する 6 つの質問応答結果について,Web 上の掲載情報量,情報の信頼度,優良事例との類似度などを評価観点とする 8 つのスコア関数によって値を算出し,マルチクエリアンサンブルによって重みづけした値を結合スコアとした.DX 銘柄 2021 選定の調査に回答した企業 464 社から専門家が選定した企業 48 社を識別する実験を 8 つの結合スコアによって行った結果,各々の AUPR は 0.503 から 0.543 となり,AUPR が 0.543 の場合,上位 48 社の精度は 56.3%であった.しかし,特定のスコア関数が常に最高精度を有する保証はなく,スコア関数を精度よく一意に結合する必要があった.本論文では,過去の選定結果を学習データとして,掲載情報量,類似度,信頼度などの評価観点がどの程度重視されたかを推定し,8 つの結合スコア関数のスコアをさらに結合して計算するマルチクエリスコアアンサンブルを提案した.本手法を DX 銘柄 2021 の選定企業 48 社で実験した結果,AUPR が 0.541,上位 48 社の精度は 56.3%となり,8 つのスコア関数の最高精度と同等の精度を得られることを確認した.本手法により,複数の評価スコアを結合する基準が明白でない場合も,過去の評価結果から精度よく結合することが可能となり,今後の DX 活動や他のテーマに関する評価への適用可能性を向上させた. |
論文抄録(英) |
|
|
内容記述タイプ |
Other |
|
内容記述 |
In recent years, analysis and evaluation through various surveys, such as questionnaires, have been conducted in order to promote digital transformation (DX). It is important to reduce the cost of questionnaire designers, questionnaire respondents, and experts who analyze and evaluate the questionnaires in large-scale surveys. We developed WISDOM-DX, a system that automatically analyzes and evaluates an organization's DX initiatives instead of questionnaires using a question-and-answer (QA) system filled from Web information. By modeling the evaluation items of experts in the form of six question types (When, Who, Where, What, Why, How) , WISDOM-DX evaluates responses of the QA system for the six question types, by using eight score functions based on response volume, similarity to DX good practices, and confidence level. When the system was evaluated with 464 companies that replied to the DX Brand 2021 questionnaires by comparing the 48 companies selected by DX experts, the eight score functions all provided AUPR values between 0.503 and 0.543. When AUPR was 0.543, the precision was 56.3% for the 48 companies. However, there was no guarantee that a particular score function would always have the highest accuracy, and it was necessary to uniquely combine eight score functions with high accuracy. This paper proposes a multi-query score ensemble method, which makes it possible to combine the eight score functions using the past selection results as training data. The method can appropriately learn coupling coefficients regarding response volume, similarity to DX good practices, and confidence level. At the result of testing on the 48 companies selected for DX Brand 2021, we confirmed that the AUPR was 0.541 and the precision was 56.3%, which was equivalent to the highest accuracy of the eight score functions. The results show the method could combine multiple evaluation scores with high accuracy based on past evaluation results, even when the criteria for combining multiple scores are not obvious. The method improved the applicability of WISDOM-DX to future DX activities and evaluations on other topics. |
書誌レコードID |
|
|
収録物識別子タイプ |
NCID |
|
収録物識別子 |
AA12628327 |
書誌情報 |
研究報告コンシューマ・デバイス&システム(CDS)
巻 2022-CDS-33,
号 40,
p. 1-8,
発行日 2022-01-13
|
ISSN |
|
|
収録物識別子タイプ |
ISSN |
|
収録物識別子 |
2188-8604 |
Notice |
|
|
値 |
SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. |
出版者 |
|
|
言語 |
ja |
|
出版者 |
情報処理学会 |