前言：Radam优化器是对adam优化器的升级版，这个优化器是在2019年的论文《ON THE VARIANCE OF THE ADAPTIVE LEARNING RATE AND BEYOND》中提出的一种方法。这种方法相对于Adam优化器在训练速度和效率上均有所提高，原理在论文中已经讲的非常清楚，这里不再赘述，要想了解请参考原文。这里主要是讲如何将radam用在自己的模型之上。

Python版本:python3.7

神经网络框架：因为本人是利用tensorflow1.x框架所以这里都是在tensorflow1.x框架下的示例，使用其他框架的请参阅其他文章。

Python库安装：pip install keras-rectified-adam

用法：
将radam库import进来
from keras_radam.training import RAdamOptimizer

然后将RAdamOptimizer优化器直接替换掉原想的优化器即可，无需太多改动。

示例：
trainop=tf.train.AdamOptimizer(learning_rate=0.001).minimize(loss)

这句大家应该都很熟悉了，使用tensorflow中的Adam优化器训练神经网络，只需将Adam优化器换成Radam优化器即可，如下所示：

train_op=RAdamOptimizer(learning_rate=0.001).minimize(loss)