基于随机步长具有最优瞬时收敛速率的稀疏随机优化算法*

几乎所有的稀疏随机算法都来源于在线形式，只能获得平均输出方式的收敛速率，对于强凸优化问题无法达到最优的瞬时收敛速率.文中避开在线形式转到随机模式，直接研究随机优化算法.首先在含有L1正则化项的稀疏优化问题中加入L2正则化项，使之具有强凸特性.然后将黑箱优化方法中的随机步长策略引入到当前通用的结构优化算法COMID中，得到基于随机步长的混合正则化镜面下降稀疏随机优化算法.最后通过分析L1正则化问题中软阈值方法的求解特点，证明算法具有最优的瞬时收敛速率.实验表明，文中算法的稀疏性优于COMID.