One-Bit Over-the-Air Aggregation for Communication-Efficient Federated Edge Learning: Design and Convergence Analysis

[mitsuhiko-nozawa]

一言でいうと

one-bit broadband digital aggregation (OBDA)で多数のエッジデバイスが同時に通信できるように、コミュニケーションボトルネックを改善

論文リンク

https://arxiv.org/pdf/2001.05713.pdf

著者/所属機関

Guangxu Zhu, Yuqing Du, Deniz G ¨und ¨uz, and Kaibin Huang

Shenzhen Research Institute of Big Data, Shenzhen, China
The University of Hong Kong, Hong Kong
Imperial College of London, London, U.K.

投稿日付(yyyy/MM/dd)

IEEE 2020/11/26

概要

Federated Learningにおいて、同時にパラメータサーバーにアクセスする際に問題となるネットワークボトルネックを、勾配の符号を取る量子化手法と、集約(averaging, voting)された勾配を無線通信時に推定することで改善

新規性・差分

従来の研究はアナログ変調に関するものが多かったが、現在普及しているデジタル変調で利用できるようにした

手法

各エッジデバイスで定期的に計算された勾配の符号を、エッジサーバー(パラメータサーバー)に同時に通信、集約とボーティング後、再びエッジデバイスに通信することを繰り返す

結果

1つのエッジサーバー、100個のエッジデバイスを使ってMNISTとCifar-10を学習
MNISTでは6層ネットワーク、Cifar-10ではResNet18
3つのwireless hostilities下で測定
収束率は異なるがどのhostility下でも収束はしており、デバイス数が増えると精度が向上している(図右)

コメント