Rethinking the Value of Network Pruning

[ryoherisson]

一言でいうと

学習=>剪定=>再学習のプロセスを経た大規模な構造化剪定モデルよりも，重みがランダムに初期化された剪定モデルの方が精度が良い．

論文リンク

https://openreview.net/pdf?id=rJlnB3C5Ym

著者/所属機関

Zhuang Liu, Mingjie Sun, Tinghui Zhou, Gao Huang, Trevor Darrell
(University of California, Tsinghua University)

投稿日付(yyyy/MM/dd)

2019/03/05

概要

FineTuningされた剪定モデルは，重みがランダムに初期化された剪定モデルを学習するよりも，精度が同等か低いことを実験から示した．
その他，構造探索としてのPruningの可能性の検証を実施．

新規性・差分

• 大規模な剪定モデルの学習は必要なく，小さなネットワークアーキテクチャのモデルで代替可能．
• 大規模モデルの学習された「重要な」重みは，小さな剪定されたモデルでは役に立たないことが多い．
• 継承された「重要な」重みのセットよりも，剪定されたアーキテクチャ自体の方がより重要．

手法

モデル

• 人手で定義（4モデル）
  • L1-norm based Filter Pruning (Li et al. (2017))
  • ThiNet (Luo et al. (2017))
  • Regression based Feature Reconstruction (He et al. (2017b))
  • Soft Filter Pruning (He et al. (2018a))
• 自動剪定（2モデル）
  • Network Slimming (Liu et al. (2017))
  • Sparse Structure Selection (Huang & Wang (2018))
• 非構造剪定モデル
  • Unstructured magnitude-based weight pruning (Han et al. (2015))

結果

人手で定義（L1-norm based Filter Pruning (Li et al., 2017)）

自動剪定（Network Slimming(Liu et al. (2017))）

構造探索としてのPruning

The Lottery Ticket Hypothesis (Frankle & Carbin, 2019) との比較

コメント

• 参考文献論文との結果の間に矛盾がある理由として，データオーグメンテーションやハイパーパラメータの設定，評価方法の違いがあるとしている．
• Gale et al. (2019) The State of Sparsity in Deep Neural Networksで，非構造化スパースアーキテクチャではランダムな重みで初期化したモデルは，FineTuneモデルの精度よりも低い，と指摘されている．