Diversifying Sample Generation for Accurate Data-Free Quantization

[ryoherisson]

一言でいうと

BN層のデータフリー量子化を行うDiverse Sample Generation (DSG)を提案．

論文リンク

著者/所属機関

Xiangguo Zhang, Haotong Qin, Yifu Ding, Ruihao Gong, Qinghua Yan, Renshuai Tao, Yuhang Li, Fengwei Yu, Xianglong Liu
(Beihang University, Yale University, SenseTime Research)

投稿日付(yyyy/MM/dd)

2021/03/04

概要

既存のデータフリーな量子化手法では，BN層の統計量と一致するようにデータが生成されており，また，同じ目的関数で最適化されていることから，分布レベル・サンプルレベルで合成データが均質化されており，実際のデータの分布とは乖離があるという問題がある．

本手法では，データの多様性を高めるため，2つの技術からなるDSGを提案．

• SlackDistribution Alignment(SDA)：BN層の特徴統計のアライメントを緩め，分散の制約を緩和．
• Layerwise Sample Enhancement(LSE)：異なるデータサンプルのために特定の層を強化するために層ごとの強化を適用．

実験では従来手法の精度を大幅に上回り，実データで学習されたモデルよりも高い性能を示した．

新規性・差分

• 合成データの均質化問題が，量子化モデルの性能を低下を引き起こすことを示した．
• 分布レベルとサンプルレベルでの均質化を解決するための，SDAとLSEを提案．

手法

結果

コメント