为什么adam优化初始偏高
发布网友
发布时间:2022-12-17 10:06
我来回答
共1个回答
热心网友
时间:2023-09-15 20:24
因为adam损失下降特别快,不用设置那么大的初始学习率。1、Adam 是一种可以替代传统随机梯度下降过程的一阶优化算法,它能基于训练数据迭代地更新神经网络权重。Adam 最开始是由 OpenAI 的 Diederik Kingma 和多伦多大学的 Jimmy Ba 在提交到 2015 年 ICLR 论文(Adam: A Method for Stochastic Optimization)中提出的。本文前后两部分都基于该论文的论述和解释。