Sigmoid AttentionによるAttention修正機構を導入したDINOの性能評価

• Item type: SIG Technical Reports(1)
• 公開日: 2024-11-22
• タイトル: Sigmoid AttentionによるAttention修正機構を導入したDINOの性能評価
• タイトル / 言語: en
• タイトル: Performance Evaluation of DINO with Attention Modification Mechanism Introduced by Sigmoid Attention
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 住友電気工業株式会社
• 著者所属: 株式会社ユニコ
• 著者所属: 住電通信エンジニアリング株式会社
• 著者所属: 住友電気工業株式会社
• 著者所属(英): en
• 著者所属(英): Sumitomo Electric Industries, Ltd.
• 著者所属(英): en
• 著者所属(英): UNICO Co.,Ltd.
• 著者所属(英): en
• 著者所属(英): Sumiden Communication Engineering Co.,Ltd.
• 著者所属(英): en
• 著者所属(英): Sumitomo Electric Industries, Ltd.
• 著者名: 松本, 悠希; 尾澤, 知憲; 奥野, 拓也; 三浦, 勝司
• 著者名(英): Yuki, Matsumoto; Tomokazu, Ozawa; Takuya, Okuno; Katsushi, Miura
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本論文ではラベル無し自己教師あり学習の一つである DINO（ViT ベース）に Sigmoid Attention による Attention の修正機構を導入することを提案する．Sigmoid Attention は Self-Attention におけるクエリとキーを内積したテンソルにシグモイド関数を適用したものである．その後，逆シグモイド変換を行い，通常のソフトマックス関数を適用する．このような演算過程により Vision Transformer のネットワークを阻害することなく，人による柔軟な Attention の修正が可能となる．本提案は人が Sigmoid Attention を修正し，これを教師データとしてファインチューニング（Human In the Loop）することで，人の知見をネットワークに反映させ，精度向上や Attention の視覚的説明性の向上に貢献するものである．提案手法の性能を評価するために ImageNet から 3 クラスを抽出し検討を行った．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: In this paper, we propose to introduce Attention Modification Mechanism using Sigmoid Attention to DINO (ViT based), which is a type of unlabeled self-supervised learning. Sigmoid Attention is applied Sigmoid function to tensor of dot product Query and Key in Self-Attention. After, it is applied inverse Sigmoid function and Softmax function in that order. By such calculation process, Vision Transformer network isn't impeded, and flexible modification of Attention by humans is possible. This proposal allows humans to modify Sigmoid Attention and use it as training data for fine-tuning, thereby reflecting human knowledge in the network and contributing to improved accuracy and visual explanation of Attention. In order to evaluate the proposal method performance, we extracted three classes from ImageNet and examined them.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10100541
• 書誌情報: 研究報告コンピュータグラフィックスとビジュアル情報学（CG）; 巻 2024-CG-196, 号 6, p. 1-6, 発行日 2024-11-22
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8949
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会