The Limit of the Batch Size

[nocotan]

一言でいうと

DNNの大規模分散学習におけるバッチサイズの限界について分析．

論文リンク

https://arxiv.org/pdf/2006.08517.pdf

著者/所属機関

Yang You, Yuhui Wang, Huan Zhang, Zhao Zhang, James Demmel, Cho-Jui Hsieh (UC Berkeley)

投稿日付(yyyy/MM/dd)

2020/06/15

概要

新規性・差分

バッチサイズの限界についての初めての議論．

手法

大規模実験と詳細な分析によってバッチサイズの限界とultra-slow diffusion理論について検証．

結果

コメント