Learning Efficient Convolutional Networks through Network Slimming

[ryoherisson]

一言でいうと

Batchnormのスケーリング因子にL_1ロスを課して学習する，チャンネルレベルの自動剪定手法．

論文リンク

https://openaccess.thecvf.com/content_ICCV_2017/papers/Liu_Learning_Efficient_Convolutional_ICCV_2017_paper.pdf

著者/所属機関

Zhuang Liu, Jianguo Li, Zhiqiang Shen, Gao Huang, Shoumeng Yan, Changshui Zhang,
(Tsinghua University, Intel Labs China, Fudan University, Cornell University)

投稿日付(yyyy/MM/dd)

2017/08/22

概要

チャンネルレベルの自動剪定手法．
Batchnormのスケーリング因子γにL_1ロスを課して学習し，γが小さいチャネルを削除したのちFineTune．
VGGNetでは，モデルサイズを20倍，計算量を5倍削減．

新規性・差分

• モデルサイズ，実行時メモリ，計算処理の削減および学習プロセスのオーバーヘッドを最小限に抑制．
• 効率的な推論のための特別なライブラリやハードウェアを必要としない．

手法

1. 各チャネルにスケーリング因子γ（Batchnormで使われているもの）を導入し，その係数をそのチャネルの出力に乗算．
2. ネットワーク重みとスケーリング因子を共同訓練し，後者にはL_1正則化を課す．
3. 閾値以下のスケーリング因子を持つチャネルを剪定した後，ネットワークをFineTune
   （L_1正則化を使う理由は，スケーリング因子の多くを強制的にゼロにするため．）

損失関数（g(・)はL_1正則化項）

Batch normalization（γ：scale，β：shift）

結果

コメント