@techreport{oai:ipsj.ixsq.nii.ac.jp:00216020,
 author = {久寿居, 大 and 石川, 開 and 市瀬, 規善 and 奥村, 明俊 and 鳥澤, 健太郎 and 大竹, 清敬 and Dai, Kusui and Kai, Ishikawa and Noriyoshi, Ichinose and Akitoshi, Okumura and Kentaro, Torisawa and Kiyonori, Ohtake},
 issue = {40},
 month = {Jan},
 note = {近年，デジタルトランスフォーメーション（DX）推進のために，アンケートなど各種調査に基づく分析・評価が実施されている．大規模調査では，アンケートの設計者と回答者，アンケートを分析・評価する専門家のコスト低減が課題となる．我々は，大規模かつタイムリーな調査を実現するため，専門家による評価項目を 5W1H の質問タイプとしてモデル化し，Web データに基づく質問応答システムを用いて企業の DX 活動を評価する WISDOM-DX を開発した．WISDOM-DX は，5W1H に関する 6 つの質問応答結果について，Web 上の掲載情報量，情報の信頼度，優良事例との類似度などを評価観点とする 8 つのスコア関数によって値を算出し，マルチクエリアンサンブルによって重みづけした値を結合スコアとした．DX 銘柄 2021 選定の調査に回答した企業 464 社から専門家が選定した企業 48 社を識別する実験を 8 つの結合スコアによって行った結果，各々の AUPR は 0.503 から 0.543 となり，AUPR が 0.543 の場合，上位 48 社の精度は 56.3%であった．しかし，特定のスコア関数が常に最高精度を有する保証はなく，スコア関数を精度よく一意に結合する必要があった．本論文では，過去の選定結果を学習データとして，掲載情報量，類似度，信頼度などの評価観点がどの程度重視されたかを推定し，8 つの結合スコア関数のスコアをさらに結合して計算するマルチクエリスコアアンサンブルを提案した．本手法を DX 銘柄 2021 の選定企業 48 社で実験した結果，AUPR が 0.541，上位 48 社の精度は 56.3%となり，8 つのスコア関数の最高精度と同等の精度を得られることを確認した．本手法により，複数の評価スコアを結合する基準が明白でない場合も，過去の評価結果から精度よく結合することが可能となり，今後の DX 活動や他のテーマに関する評価への適用可能性を向上させた．, In recent years, analysis and evaluation through various surveys, such as questionnaires, have been conducted in order to promote digital transformation (DX). It is important to reduce the cost of questionnaire designers, questionnaire respondents, and experts who analyze and evaluate the questionnaires in large-scale surveys. We developed WISDOM-DX, a system that automatically analyzes and evaluates an organization's DX initiatives instead of questionnaires using a question-and-answer (QA) system filled from Web information. By modeling the evaluation items of experts in the form of six question types (When, Who, Where, What, Why, How) , WISDOM-DX evaluates responses of the QA system for the six question types, by using eight score functions based on response volume, similarity to DX good practices, and confidence level. When the system was evaluated with 464 companies that replied to the DX Brand 2021 questionnaires by comparing the 48 companies selected by DX experts, the eight score functions all provided AUPR values between 0.503 and 0.543. When AUPR was 0.543, the precision was 56.3% for the 48 companies. However, there was no guarantee that a particular score function would always have the highest accuracy, and it was necessary to uniquely combine eight score functions with high accuracy. This paper proposes a multi-query score ensemble method, which makes it possible to combine the eight score functions using the past selection results as training data. The method can appropriately learn coupling coefficients regarding response volume, similarity to DX good practices, and confidence level. At the result of testing on the 48 companies selected for DX Brand 2021, we confirmed that the AUPR was 0.541 and the precision was 56.3%, which was equivalent to the highest accuracy of the eight score functions. The results show the method could combine multiple evaluation scores with high accuracy based on past evaluation results, even when the criteria for combining multiple scores are not obvious. The method improved the applicability of WISDOM-DX to future DX activities and evaluations on other topics.},
 title = {Webデータに基づく質問応答システムを用いた企業活動分析・評価システムWISDOM-DXの改善},
 year = {2022}
}