Adam是从2个算法脱胎而来的：AdaGrad和RMSProp，它集合了2个算法的主要优点，同时也做了自己的一些创新，大概有这么几个卖点：

1. 计算高效，方便实现，内存使用也很少。
2. 更新步长和梯度大小无关，只和alpha、beta_1、beta_2有关系。并且由它们决定步长的理论上限。
3. 对目标函数没有平稳要求，即loss function可以随着时间变化
4. 能较好的处理噪音样本，并且天然具有退火效果
5. 能较好处理稀疏梯度，即梯度在很多step处都是0的情况

为什么这么设计呢？Andrew Ng在他的公开课中给出了他的解释，他认为Adam其实可以看做是Momentum和RMSProp算法的结合。

Momentum通过对梯度mean的估计，使得梯度在纵向上的正负步长逐步抵消，横向上的步长逐步累积，从而减少了震荡，加快了学习速率。

可以认为：对于mean的这种估计，其实是从噪音中提取到了有效信号，因为信号的方向在一段时间内是不会变的。同时抵消了噪音，比如白噪音，它的均值为0，把多个白噪音累加后，它们是正负相互抵消的

当然实际情况噪音可能会非常复杂，如果步长太大，或者衰减太小，还是会出现震荡甚至发散的情况。

RMSProp要解决的问题和Momentum类似，但是它是从二阶距入手的。

它的思路是这样的，对于波动比较大的梯度，它的方差肯定是很大的，所以它用梯度去除以二阶距的开方，作为梯度下降的梯度，从而也使得它在纵轴上的步长减小了，同时相对的增加了横轴的步长。

这个也是mt和vt的设计来源。同时因为mt和vt涉及了所有历史梯度信息，所以他们都能较好处理梯度稀疏的情况。

Adam的改进主要体现在2个地方，即伪代码第五、六行的偏置修正，和第七行的梯度计算。

第5、6行可以这样简单理解：因为m0和v0初始为0，所以开始阶段得到的m和v肯定是偏向0的，所以我需要把他们的绝对值调大些才好。假设beta1 = 0.5，t = 1，那么调整后，m = m / 0.5 = 2m，这样就把m从0拉了回来。
当然了这背后是有理论依据的，有兴趣的同学可以去看看论文，推导也不难。

其实最关键的就是第7行了。首先在没有噪音的情况下，m/sqrt(v) 约等于+/- 1，所以步长的上限基本就由alpha决定了。当t比较小的时候，beta1和beta2也会有一些影响，因为此时m、v还是有偏的，需要在5、6行用beta1、beta2做些调整。原文指出：

设步长
当1 - beta1 > sqrt(1 - beta2)时，

其他时候，

所以，正是由于采用了m/sqrt(v)的形式，梯度本身的大小被消除了，假设你在目标函数上乘以k，那么这个k会同时出现在分子分母上，从而在梯度更新时被消除了。

根据原文作者的意思，在机器学习中，我们经常可以方便的获知最优参数所处的范围，从而据此设置alpha的取值大小，所以Adam的这种特性可以方便你设置alpha。
另外，根据我们在Momentum和RMSProp中的描述，m/sqrt(v)可以看做是对梯度“信噪比”（SNR）的估计，其中m是信号量，而v是噪音量。当噪音大时，步长小；噪音小时，步长大。这正是我们需要的特性，从而使得Adam能够较好的处理噪音样本，另外，当我们接近最优点时，噪音通常会变得很大，或者说真正的信号变得很微弱，信噪比通常会接近0，这样步长就会变得较小，从而天然起到退火效果(annealing)

?

转自：https://segmentfault.com/a/1190000012668819