报告题目： Step-Size Planning(步长规划)

报告摘要：

针对病态问题和非凸优化问题，梯度下降法收敛缓慢。自适应步长是加速收敛的一种重要方法。本次报告中，首先会回顾近几十年关于自适应步长的相关工作，其中包括来自经典优化的Polyak 步长和IDBD方法，以及深度学习第一波神经网络浪潮引发的Adam、Hypergradient Desnce、L4和LossGrad方法，同时会介绍自适应步长和元学习的关联。 接下来，将会讨论步长的一种新形式，对角矩阵步长，它相对标量步长具有更强的投影能力，使优化具有更多可能，其次将会讨论对角矩阵步长的方向，并展示对于确定性梯度，允许某些维度负步长可以加快收敛。最后将讨论把Dyna-style规划应用于自适应步长，这个方法解决了著名的 Rosenbrock函数问题，可以在500 次以内的梯度评估中达到零误差，而梯度下降需要10000+次迭代才能达到1e-3的准确度。arxiv: https://arxiv.org/abs/2204.01705。

个人简介：

姚恒帅，阿尔伯特大学担任客座教授，加拿大Edmonton市华为人工智能团队创始人。1999年－ 2003年在山东理工大学数学院信息与计算科学专业学习，于2003年考入清华大学计算机系，师从著名自动控制专家孙增圻，代表清华大学参加世界足球机器人2004年大赛取得第四名，从2005年开始学习研究强化学习算法和理论，2007年至2008年在香港城市大学做访问，期间在机器学习年会(ICML)发表一篇文章。2008年开始在University of Alberta大学研究强化学习，师从现代强化学习之父 Rich Sutton和数学家Csaba Szepesvari，主要研究基于模型的强化学习。在人工智能的顶级学术会议 NIPS，ICML，AAAI发表文章多篇。目前的兴趣也包括深度学习的理解和优化算法。

报告时间：2022年10月2日（星期日）上午10:30-12:00

报告地点：腾讯会议：783-797-710