Autopruner: An end-to-end trainable filter pruning method for efficient deep model inference

[nocotan]

一言でいうと

フィルタレベルのPruningをEnd-to-Endで行う学習可能な手続きを提案．

論文リンク

https://arxiv.org/pdf/1805.08941.pdf

著者/所属機関

Jian-Hao Luo, Jianxin Wu
National Key Laboratory for Novel Software Technology

投稿日付(yyyy/MM/dd)

2018/05/23

概要

既存のフィルタレベルのPruningはフィルタの選択とfine-tuningの2-stepから構成されていた．
これに対して提案手法はこれをEnd-to-Endで行い，かつ自動でこれらの決定を行うフレームワークを提案．

新規性・差分

• 単一モデルでEnd-to-Endで学習可能なフィルタレベルのPruning：Pruning先のフィルタ選択とモデルのfine-tuningをEnd-to-Endで行う学習可能なフレームワークを提案．
• 適応的な圧縮レートと複数レイヤーの圧縮：最適な圧縮レートが自動で決定される仕組みを提案
• 良好な実験結果

手法

Pruning対象のネットワークにAutoPrunerレイヤーを追加する方式でPruningを提案．

結果

コメント

Attentionっぽい．