WEKO3
アイテム
ファインチューニング時のモデル内部挙動のCentered Kernel Alignmentによる解析
https://ipsj.ixsq.nii.ac.jp/records/242263
https://ipsj.ixsq.nii.ac.jp/records/2422633ca5144d-d323-4146-ab7a-2582be551a12
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-CVIM25240037.pdf (1.6 MB)
|
Copyright (c) 2024 by the Institute of Electronics, Information and Communication Engineers This SIG report is only available to those in membership of the SIG.
|
|
| CVIM:会員：¥0, DLIB:会員：¥0 | ||
| Item type | SIG Technical Reports(1) | |||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2025-01-14 | |||||||||||
| タイトル | ||||||||||||
| タイトル | ファインチューニング時のモデル内部挙動のCentered Kernel Alignmentによる解析 | |||||||||||
| 言語 | ||||||||||||
| 言語 | jpn | |||||||||||
| 資源タイプ | ||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||||
| 資源タイプ | technical report | |||||||||||
| 著者所属 | ||||||||||||
| 九州大学大学院システム情報科学府 | ||||||||||||
| 著者所属 | ||||||||||||
| 九州大学大学院システム情報科学研究院 | ||||||||||||
| 著者所属 | ||||||||||||
| 九州大学大学院システム情報科学研究院 | ||||||||||||
| 著者名 |
與田, 悟史
× 與田, 悟史
× 内田, 誠一
× 豊田, 祥史
|
|||||||||||
| 論文抄録 | ||||||||||||
| 内容記述タイプ | Other | |||||||||||
| 内容記述 | ファインチューニングとは，異なるタスクのデータを用いて事前に学習したモデルを，新規のタスクの初期モデルとして利用することにより，所望のターゲットタスクでの性能を向上を可能にする手法である．その数値的な有効性と実装の簡便さから, 数多くの分野で使われている技術になっている一方で，ターゲットタスクでの再学習時のモデル内部の変化の解析に関しては十分な理解が得られていない．本研究では，モデル間の類似度指標であるCentered Kernel Alignmentを用い，ファインチューニングによるモデル内部の特徴表現の逐次変化を解析する．MNISTを含む小規模なデータセットおよびDomainNetによる実験結果をもとに，タスクの違いに呼応した転移すべき特徴の変化を考察する． | |||||||||||
| 書誌レコードID | ||||||||||||
| 収録物識別子タイプ | NCID | |||||||||||
| 収録物識別子 | AA11131797 | |||||||||||
| 書誌情報 |
研究報告コンピュータビジョンとイメージメディア（CVIM） 巻 2025-CVIM-240, 号 37, p. 1-6, 発行日 2025-01-14 |
|||||||||||
| ISSN | ||||||||||||
| 収録物識別子タイプ | ISSN | |||||||||||
| 収録物識別子 | 2188-8701 | |||||||||||
| Notice | ||||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||||
| 出版者 | ||||||||||||
| 言語 | ja | |||||||||||
| 出版者 | 情報処理学会 | |||||||||||
