剪枝对比

slim论文解读：2017年

主要创新点：
1）减小模型大小；
2）减少运行时内存占用；
3）在不损害精度的情况下降低计算操作的数量。
简介：通过L1正则化将BN缩放因子的值推向零，使我们能够识别不重要的通道（或神经元），因为每个缩放因子对应于一个特定的卷积通道（或全连接层中的神经元）
作者将模型轻量化分为了5种方式介绍：低阶分解、权重量化、重量剪枝/稀疏、结构化剪枝/稀疏、神经结构学习。
低阶分解使用的是SVD等技术，减轻重量但是没有提速作用。
权重量化使用共享权值索引代替，可以用较少的数值映射多个位置，从而达到模型压缩的功能，但是也是不能压缩模型。
重量剪枝/稀疏，稀疏模型，然后将权重为0的权重剪枝。
结构化剪枝/稀疏，对训练好的模型修剪权重较小的行到，然后微调网络以恢复准确性。
神经结构学习，通过训练的方式来寻找最优的的剪枝模型。
当然可以，下面是对Slim 剪枝（Network Slimming）方法的介绍：

Slim剪枝（Network Slimming）简介

Slim剪枝是一种结构化剪枝方法，主要通过在网络中引入通道级别（channel-level）的稀疏正则化，自动学习哪些通道不重要，并在训练后剪除这些冗余通道，从而加速推理、减少参数量和计算量。

该方法首次由Liu et al.