利用時品質に基づくAIシステム評価のケース分析 -便益・リスク回避・社会受容の包括評価に向けて-

• Item type: Symposium(1)
• 公開日: 2024-10-15
• タイトル / 言語: ja
• タイトル: 利用時品質に基づくAIシステム評価のケース分析 -便益・リスク回避・社会受容の包括評価に向けて-
• タイトル / 言語: en
• タイトル: A case study of AI system evaluation based on quality-in-use component - Toward comprehensive evaluation of benefit, risk avoidance and social acceptance -
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: AI のトラスト，利用時品質，包括的品質評価，便益とリスクのトレードオフ
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_5794
• 資源タイプ: conference paper
• 著者所属: 情報処理推進機構
• 著者所属: 情報処理推進機構
• 著者所属: 情報処理推進機構／長崎県立大学
• 著者所属: 情報処理推進機構／城西大学
• 著者所属: 理研AIP
• 著者所属(英): en
• 著者所属(英): Information-Technology Promotion Agency, Japan
• 著者所属(英): en
• 著者所属(英): Information-Technology Promotion Agency, Japan
• 著者所属(英): en
• 著者所属(英): Information-Technology Promotion Agency, Japan / University of Nagasaki, Japan
• 著者所属(英): en
• 著者所属(英): Information-Technology Promotion Agency, Japan / Josai University, Japan
• 著者所属(英): en
• 著者所属(英): Riken AIP, Japan
• 著者名: 小川, 隆一; 佐川, 陽一; 島, 成佳; 竹村, 敏彦; 福住, 伸一
• 著者名(英): Ryuichi, Ogawa; Yoichi, Sagawa; Shigeyoshi, Shima; Toshihiko, Takemura; Shin-ichi, Fukuzumi
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: AIシステムは学習の制約等から，出荷時性能が利用環境でそのまま出るとは限らず，環境に応じた利用時品質を評価できること，また利用者が「この性能で使いたいか」の視点から評価にコミットできることが望ましい．筆者らはこの考えに基づき，利用時品質の国際規格ISO/IEC 25019:2023に基づくAIシステム品質評価手法を検討している．本稿では，AIシステムの機能要件を構造化してISO/IEC 25019:2023 の品質特性・サブ特性に紐づけ，各品質特性の充足度を数値化，全体の充足度を算定する方式を示し，全自動運転を行う自律型ドローンシステムの評価についてケース分析を行った．分析ではAIシステムの特徴である「学習」を機能要件として詳細化し，便益・リスク回避・社会受容の各利用時品質特性にどのように影響するか，便益とリスク回避のトレードオフ分析は可能か，等の思考実験を実施した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: An AI system’s performance is not necessarily assured in practical use, so that it is desirable to evaluate performance in user specific environment as quality in use. In the evaluation, user’s commitment from the viewpoint of whether he can accept the service is an essential issue. In this regard, we have been studying a comprehensive AI system evaluation method based on ISO/IEC 25019:2013, a revised standard of quality-in-use model. In this paper we propose a method of quantitative evaluation of AI systems by connecting the systems service specific functional requirements to quality-in-use components/subcomponents of ISO/IEC 25013 and calculating comprehensive levels of fulfilment of such components. With the method we have studied a case of autonomous drone delivery system, that performs the entire operation without human help. In the study we focused on how an AI specific functional requirement, level of learning, affects the quality-in-use evaluation. We also studied if the method could help analyzing trade-offs between two significant quality-in-use components, benefit and risk avoidance.
• 書誌情報: コンピュータセキュリティシンポジウム2024論文集; p. 587-594, 発行日 2024-10-15
• 出版者 / 言語: ja
• 出版者: 情報処理学会