Error Feedback Fixes SignSGD and other Gradient Compression Schemes

[nocotan]

一言でいうと

signSGDがうまく収束しないケースを解決するerror feedback機構を提案．

論文リンク

http://proceedings.mlr.press/v97/karimireddy19a.html

著者/所属機関

EPFL

投稿日付(yyyy/MM/dd)

ICML2019

概要

signSGDのような勾配の符号に基づくSGDの亜種は，通信時のボトルネックを緩和することを目的として提案されてきた．
本論文では，signSGDがうまく収束しないシンプルなコーナーケースを示し，同時にsignSGDがうまく収束するようなケースであってもその汎化性能が一般のSGDよりも著しく劣ることを示す．

そうした欠点はsignSGDがバイアスを持つことに起因するが，そのようなバイアスを補正するerror feedback機構により上記の問題点を解決できることを示す．

新規性・差分

• signSGDが失敗するコーナーケースを導出
• signSGDのバイアスを補正するerror feedbackを提案　

手法

signSGD with Error Feedback

• ステップごとに残差を更新し，圧縮時のエラーを補正しながら重みの更新を行う．
• 追加のパラメータなしで動作．

結果

コメント