面向“边缘”应用的卷积神经网络量化与压缩方法

摘要 针对卷积神经网络（CNN）推理计算所需内存空间和资源过大，限制了其在嵌入式等"边缘"设备上部署的问题，提出结合网络权重裁剪及面向嵌入式硬件平台数据类型的数据量化的神经网络压缩方法。首先，根据卷积神经网络各层权重的分布，采用阈值法对网络精确率影响较小的权重进行裁剪，保留网络中重要连接的同时除去冗余信息；其次，针对嵌入式平台的计算特性分析网络中权重及激活函数所需的数据位宽，采用动态定点量化方法减小权重数据的位宽；最后，对网络进行微调，在保障网络模型识别精度的前提下进一步压缩模型大小并降低计算消耗。实验结果表明，该方法降低了VGG-19网络95.4%的存储空间而精确率仅降低0.3个百分点，几乎实现无损压缩；同时，通过多个网络模型的验证，该方法在平均1.46个百分点精确率变化范围内，最大降低网络模型96.12%的存储空间，能够有效地压缩卷积神经网络