title: 在神经网络中，激活函数sigmoid和tanh除了阈值取值外有什么不同吗？
desc: 在神经网络中，激活函数sigmoid和tanh除了阈值取值外有什么不同吗？啥时选sigmoid，选tanh呢？
topic: 神经网络
content: 没啥区别吧。两个函数线性相关1 - 2 textrmsigx -textrmtanhbiggfracx2bigg而 neural network 的神经元之间是线性操作（矩阵相乘和相加），所以对 tanh 优化好的一套参数经过一个线性变换就能得用于 sigmoid 了：Wtanh bmx bmb W2，textrmsig2bmx - bm1 bmb underbrace2WW'，textrmsig2bmx underbracebmb - Wbm1bmb'硬要说点 motivation 的
answerer_tags: 米特男神的室友的二阶脑残粉