Category: 深度学习

本文介绍了循环神经网络，包括RNN的结构，双向循环神经网络，循环神经网络的训练算法BPTT，包括前向计算，误差项计算，介绍了LSTM网络，以及RNN出现梯度爆炸和梯度消失的原因，LSTM如何解决梯度消失，最后详细介绍了GRU的结构

本文介绍了梯度下降算法的严谨，包裹梯度下降，随机梯度下降，小批量梯度下降，动量法，adagrad算法，RMSProp算法，到最后的adam算法

我们本文讲述了批量正则化，讲述了正则化使用的位置，以及BN使用的方式，产生的作用

本文讲解了人工神经网络，神经元模型，激活函数的作用，以及激活函数的挑选方式，反向传播算法，全局最小与局部最小等

本文详细介绍了卷积神经网络，以及卷积神经网络的激活函数，卷积神经网络的发展历程，池化层的描述，反向传播算法等