Importance Estimation for Neural Network Pruning

[nocotan]

一言でいうと

Pruningの達成のために，各ニューロン／フィルターの最終的な出力への貢献度合いを推定する手法を提案．

論文リンク

https://openaccess.thecvf.com/content_CVPR_2019/papers/Molchanov_Importance_Estimation_for_Neural_Network_Pruning_CVPR_2019_paper.pdf

著者/所属機関

Pavlo Molchanov, Arun Mallya, Stephen Tyree, Iuri Frosio, Jan Kautz
NVIDIA

投稿日付(yyyy/MM/dd)

2019/06/25

概要

Pruningの達成のために，各ニューロン／フィルターの最終的な出力への貢献度合いを推定する手法を提案．
提案手法は一次および二次のテイラー展開によるフィルターの重要度の近似に基づく．

新規性・差分

• 学習時に計算時間的オーバーヘッドの少ない方法によるニューロン／フィルターの貢献度合いの推定
• 一次および二次のテイラー展開によるフィルターの重要度の近似によって高品質なPruningを達成．さらに貢献度合いの計量として二乗誤差を採用することが有益であることも発見
• CIFAR-10およびImageNetの実験から提案手法の有用性を示す．実験ではスキップコネクションを含む構造のネットワークにも適用可能なことを示す

手法

Pruningを考慮した学習の手続きは以下のようにL0正則化付き損失関数最小化として定式化される：

パラメータの重要度は，そのパラメータを削除したときにエラーがどの程度増加するかで定量化できる．

これをその都度計算するのは，パラメータを削除するパターン数Mだけネットワークを学習および評価する必要があり，計算コストが高い．
この問題は，二次のテイラー展開によってWの近傍で式(3)を近似することで回避できる．

または一次のテイラー展開によるより簡便な近似も考えられる：

勾配gは一般の学習における誤差逆伝播で得られるため，式(5)の計算は非常に容易．

結果

コメント