|
|
软件学报 2014
一种求解强凸优化问题的最优随机算法DOI: 10.13328/j.cnki.jos.004633, PP. 2160-2171 Keywords: 机器学习,随机优化,强凸问题,混合正则化项,comid,(composite,objective,mirror,descent) Abstract: 随机梯度下降(sgd)算法是处理大规模数据的有效方法之一.黑箱方法sgd在强凸条件下能达到最优的o(1/t)收敛速率,但对于求解l1+l2正则化学习问题的结构优化算法,如comid(compositeobjectivemirrordescent)仅具有o(lnt/t)的收敛速率.提出一种能够保证稀疏性基于comid的加权算法,证明了其不仅具有o(1/t)的收敛速率,还具有on-the-fly计算的优点,从而减少了计算代价.实验结果表明了理论分析的正确性和所提算法的有效性.
|
