合肥学院学报(综合版)

2022, v.39;No.168(02) 12-18

[打印本页] [关闭]
本期目录(Current Issue) | 过刊浏览(Past Issue) | 高级检索(Advanced Search)

基于加权平均随机递归梯度下降算法
Stochastic Recursive Gradient Descent Algorithm with Weighted Average

费经泰;郝庆一;程一元;孙钊;

摘要(Abstract):

对传统的随机递归梯度下降算法(SARAH)采用梯度加权平均技术,在强凸条件下提出了一种加权的SARAH算法—WA-SARAH算法。然后理论上证明了该算法具有线性收敛速率,并且给出了相应的收敛阶。通过合理地选取加权系数,发现WA-SARAH算法的收敛阶要优于SARAH算法。最后通过数值实验,验证了WA-SARAH算法的合理性。

关键词(KeyWords): 机器学习;随机递归梯度下降算法;加权平均;加权系数;收敛阶

Abstract:

Keywords:

基金项目(Foundation): 安徽省自然科学基金项目“视野受限情形下的行人流及相关复杂系统的建模与实验研究”(1908085MA22);; 安徽高校自然科学研究项目“分布式机器学习的算法设计与理论研究”(KJ2021A1033);; 巢湖学院校级科研项目“加速随机方差缩减梯度下降算法研究”(XLY-202105,XLY-202103)资助

作者(Authors): 费经泰;郝庆一;程一元;孙钊;

参考文献(References):

扩展功能
本文信息
服务与反馈
本文关键词相关文章
本文作者相关文章
中国知网
分享