title: LSTM如何来避免梯度弥散和梯度爆炸？
topic: 数学
content: 首先我们来看两个模块：加法门与乘法门 在计算图中，前向是输入信息到输出的传递过程，反向是计算梯度，也就是根据输出的cost来对变量进行调整的过程。上图里第一行表示变量，即前向传播的信息，第二行表示损失函数对该变量的导数，也即调整用的信息。那么：加法门：从前向的观点看，是信息的加法，x和y同权地反应到了输出z中。从反向的观点看，z的调整信息（即partial Lpartial z ）不多不少地传播给了x和y的调整信息。乘法