深層ニューラルネットワークの中間層出力を利用した半教師あり分布外検知

• Item type: Journal(1)
• 公開日: 2021-04-15
• タイトル: 深層ニューラルネットワークの中間層出力を利用した半教師あり分布外検知
• タイトル / 言語: en
• タイトル: Semi-supervised Out-of-distribution Detection Using Output of Intermediate Layer in Deep Neural Networks
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: [一般論文] 半教師あり分布外検知，深層ニューラルネットワーク
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_6501
• 資源タイプ: journal article
• ID登録: 10.20729/00210565
• ID登録 / ID登録タイプ: JaLC
• 著者所属: 東京大学大学院工学系研究科技術経営戦略学専攻
• 著者所属: 東京大学大学院工学系研究科技術経営戦略学専攻
• 著者所属: 東京大学大学院工学系研究科技術経営戦略学専攻
• 著者所属(英): en
• 著者所属(英): Department of Technology Management for Innovation, Graduate School of Engineering, The University of Tokyo
• 著者所属(英): en
• 著者所属(英): Department of Technology Management for Innovation, Graduate School of Engineering, The University of Tokyo
• 著者所属(英): en
• 著者所属(英): Department of Technology Management for Innovation, Graduate School of Engineering, The University of Tokyo
• 著者名: 岡本, 弘野; 鈴木, 雅大; 松尾, 豊
• 著者名(英): Hirono, Okamoto; Masahiro, Suzuki; Yutaka, Matsuo
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 分布外検知はあるデータが入力されたときに，そのデータが特定の分布からのデータ（分布内データ）かそれ以外の分布からのデータ（分布外データ）かに分類するタスクである．分布外検知の問題設定は2種類あり，訓練データとして分布内データしか用いることができない教師なし分布外検知と，一部の分布外データを訓練データとして利用できる半教師あり分布外検知が存在する．近年提案された最も検知精度が高い半教師あり分布外検知の手法は，深層ニューラルネットワーク（DNN）を用いて分布内データのクラス分類を行い，分布外データを入力としたときにはDNNの出力が一様分布になるように学習を行う．モデルの学習後，DNNの最終層の出力が一様分布に近いものを分布外データであるとして検出を行う．しかし，DNNの出力が一様分布に近いものになる分布内データが存在するため，この手法にはこのようなデータと分布外データの区別がつかなくなってしまう問題がある．筆者らはこの問題がDNNの最終層の出力だけを用いて分布外検知を行うことを困難にする点に着目する．この問題を解決するために，筆者らはDNNの複数の中間層の出力を特徴量として利用し，これらを同時に入力とするためのDNNを新たに用意し，分布内外のデータを分類するように学習することを提案する．この提案は，分布外データは分布内データと異なりクラス分類のための特徴が抽出されないため，中間層での挙動が異なり分布内外のデータを分類するのに役立つという仮説に基づく．実験では，少量（16枚）の訓練用分布外データの利用したとき，提案手法は先行研究と比較してAUROCで約0.2の改善がみられた．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: In this paper, we study a method for semi-supervised out-of-distribution (OOD) detection. Recently, a semi-supervised OOD detection method with the highest detection accuracy has been proposed, which uses deep neural networks (DNNs) to classify the data, and then trains the DNNs so that the output of the DNNs is uniformly distributed when OOD data is input. After training the model, the output of the last layer of DNN is detected as OOD data if it is close to a uniform distribution. However, there are some in-distribution data that make the output of the DNN close to a uniform distribution, so this method has the problem of not being able to distinguish between such data and OOD data. We point out that it is not sufficient to use only the output of the last layer of DNN as a feature to perform OOD detection. To solve this problem, we propose to train a new DNN to classify in-distribution and OOD data by using the outputs of several intermediate layers of the DNN as the features. This proposal is based on the hypothesis that when OOD data is input, unlike in-distribution data, the features for classifying are not extracted by DNNs, and thus the behavior at the intermediate layer is different, which helps to classify in-distribution and OOD data. In experiment, the proposed method showed an improvement of about 0.2 in AUROC compared to previous studies when using a small amount of OOD (16) for training.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN00116647
• 書誌情報: 情報処理学会論文誌; 巻 62, 号 4, p. 1142-1151, 発行日 2021-04-15
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 1882-7764