PaddleSlim模型压缩工具在人脸识别,OCR,通用任务分类任务，检测任务等多个任务上都发布了SlimX系列小模型:
SlimMobileNet系列SlimFaceNet系列
SlimMobileNet基于百度自研的GP-NAS论文（CVPR2020）AutoDL技术以及自研的蒸馏技术得到。
相比于MobileNetV3, SlimMobileNet_V1在精度提升1.7个点的情况下Flops可以压缩138%。 由于精度比MobileNetV3高出了1.7个点，SlimMobileNet_V1量化后精度仍然高于MobileNetV3。量化后SlimMobileNet_V1可以在精度高于MobileNetV3的情况下Flops压缩552%。SlimMobileNet_V4_x1_1为业界首次发布的Flops 300M以下，ImagenetNet精度超过80%的分类小模型。
| Method | Flops(M) | Top1 Acc |
|---|---|---|
| MobileNetV3_large_x1_0 | 225 | 75.2 |
| MobileNetV3_large_x1_25 | 357 | 76.6 |
| GhostNet_x1_3 | 220 | 75.7 |
| SlimMobileNet_V1 | 163 | 76.9 |
| SlimMobileNet_V4_x1_1 | 296 | 80.1 |
| SlimMobileNet_V5 | 390 | 80.4 |
SlimFaceNet系列指标
SlimFaceNet同样是基于百度自研的GP-NAS AutoDL技术以及百度自研的自监督超网络训练算法得到。相比于MobileNetV2，SlimFaceNet_A_x0_60 flops压缩216%，在RK3288上加速428%。基于PaddleSlim的离线量化功能还可以进一步压缩模型，相比于MobileNetV2，SlimFaceNet_A_x0_60_quant flops可以压缩865%，在RK3288硬件上可以加速643%。为了对齐论文，LFW指标为112x96输入下的结果；结合业务场景，Flops和speed为112x112输入下的结果，延时为RK3288上的延时。
| Method | LFW | Flops | speed |
|---|---|---|---|
| MobileNetV2 | 98.58% | 277M | 270ms |
| MobileFaceNet | 99.18% | 224M | 102ms |
| SlimFaceNet_A_x0_60 | 99.21% | 128M | 63ms |
| SlimFaceNet_B_x0_75 | 99.22% | 151M | 70ms |
| SlimFaceNet_A_x0_60_quant | 99.17% | 32M | 42ms |
| SlimFaceNet_B_x0_75_quant | 99.21% | 38M | 45ms |
GP-NAS从贝叶斯角度来建模NAS，并为不同的搜索空间设计了定制化的高斯过程均值函数和核函数。 具体来说，基于GP-NAS的超参数，我们有能力高效率的预测搜索空间中任意模型结构的性能。 从而，模型结构自动搜索问题就被转 换为GP-NAS高斯过程的超参数估计问题。接下来，通过互信息最大化采样算法，我们可以有效地对模型结构进行采样。 因此，根据采样网络的性能，我们可以有效的逐步更新GP-NAS超参数的后验分布。基于估计出的GP-NAS超参数， 我们可以预测出满足特定延时约束的最优的模型结构，更详细的技术细节请参考GP-NAS论文。