|
|
- 2019
基于动态指导的深度学习模型稀疏化执行方法DOI: 10.3969/j.issn.1001-4616.2019.03.002 Keywords: 深度学习,稀疏化方法,资源受限,动态调度 Abstract: 以深度学习为代表的人工智能技术迅速发展,庞大的数据、模型,更大的计算量和更复杂的计算都对模型的执行提出了挑战. 在实际应用中,资源和应用的动态特征以及用户的动态需求,需要模型执行的动态性来保证. 而稀疏化是在资源受限、用户需求调整情况下动态模型的执行重要手段. 目前主流的稀疏化技术主要是针对特定问题的稀疏化,且针对推理的多,针对训练的少,缺乏在训练执行阶段进行动态调整和稀疏化的手段. 本文在对深度学习领域的基本计算单元进行可稀疏性分析的基础上,进一步分析了模型执行的不同层面、不同组成部分的稀疏化能力; 经过对动态需求、模型稀疏化策略的建模后,提出了基于动态指导的深度学习模型稀疏化执行方法,并进行了基本实验; 最后从量化建模与量化实验的角度对今后的研究工作提出了展望
|
