Variational Dropout Sparsifies Deep Neural Networks

[ryoherisson]

一言でいうと

変分ドロップアウトを，ドロップアウト率に束縛されないケースまで拡張し，勾配の分散を減らす方法を提案．
※変分ドロップアウト：各重み，レイヤーのドロップアウト率を個別にベイズ的に調整．

論文リンク

https://dl.acm.org/doi/pdf/10.5555/3305890.3305939

著者/所属機関

Dmitry Molchanov, Arsenii Ashukha, Dmitry Vetrov
(Yandex, Skolkovo Institute of Science and Technology, National Research University Higher
School of Economics, Moscow Institute of
Physics and Technology)

投稿日付(yyyy/MM/dd)

2017/06/13

概要

変分ドロップアウト率を0.0~1.0まで拡張し，勾配の分散を減らす手法を提案．
精度劣化を防ぎながら，パラメータ数を削減．

新規性・差分

• 変分ドロップアウトを，すべてのドロップアウト率（0.0~1.0）まで拡張．
• KL-Divergenceの新しい近似方法を提案．
• 勾配の分散を減少させる方法を提案．

手法

全結合層のスパース変分ドロップアウト

畳み込み層のスパース変分ドロップアウト

結果

精度劣化を防ぎながら，LeNetでパラメータ数を最大280倍、VGGライクなネットワークで最大68倍まで削減．

コメント