Zero-shot Adversarial Quantization

[ryoherisson]

一言でいうと

オリジナルの学習データへのアクセスを必要としないゼロショット逆量子化を提案．

論文リンク

著者/所属機関

Yuang Liu , Wei Zhang, Jun Wang
(East China Normal University)

投稿日付(yyyy/MM/dd)

2021/03/30

概要

量子化による精度劣化を防ぐために完全な学習データでモデルを最適化する手法は，データの機密性やセキュリティのハードルがある場合は適用できない．
これに対し，Batch-Normalization Statistics(BNS)を利用したデータ生成によるFine-Tuning手法が提案されているが，完全にはで学習データの特性を回復できず，また，生成プロセスに時間がかかるという課題がある．

本論文では，学習データを一切使わずに，出力結果の不一致だけでなく，中間層のチャネル間の不一致により，量子化モデルと高精度モデルとのギャップを測定して，情報量の多い多様なデータを敵対的学習方法を用いて生成する．

実験で，データフリーなケースにおいて，分類，セグメンテーション，物体検知タスクで最も良い精度を示した．

新規性・差分

• データフリーなモデル量子化に敵対的学習を適用
• 出力結果の不一致だけでなく，中間層のチャネル間の不一致により，量子化モデルと高精度モデルとのギャップを測定

手法

Discrepancy Calculator

Knowledge Transfer from P to Q

Activation Regularization

結果

コメント