Distilling Knowledge via Knowledge Review

[nocotan]

一言でいうと

新しい知識蒸留の構造を提案

論文リンク

https://jiaya.me/papers/kdreview_cvpr21.pdf

著者/所属機関

The Chinese University of Hong Kong, SmartMore, University of Oxford

投稿日付(yyyy/MM/dd)

CVPR2021

概要

きそん既存の知識蒸留の手法群は，studentモデルのある層に情報を伝えるためにteacherモデルのある一つの層の情報しか使えていなかった．本論文ではこの構造が知識蒸留のボトルネックになることを主張し，新しい知識蒸留の構造を提案．

新規性・差分

• studentモデルの一つの層に情報を伝えるためにteacherモデルの複数層の情報を用いる知識蒸留の構造を提案

手法

結果

コメント

• ヒューリスティクスだったのであんまり面白くなかった