Stochastic Gradient Descent的梯度波动问题和Adam optimization

在2015年，由 OpenAI 的 DP Kingma 等发布了《ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION》算法后，由于其迭代效率提升非常明显…