text: 梯度消失問題是一種機器學習中的難題，出現在以梯度下降法和反向傳播訓練人工神經網路的時候。在每次訓練的迭代中，神經網路權重的更新值與誤差函式的偏導數成比例，然而在某些情況下，梯度值會幾乎消失，使得權重無法得到有效更新，甚至神經網路可能完全無法繼續訓練。舉個例子來說明問題起因，一個傳統的激勵函式如雙曲正切函式，其梯度值在 (-1, 1)範圍內，反向傳播以鏈式法則來計算梯度。這樣做的效果，相當於在n層網路中，將n個這些小數字相乘來計算“前端”層的梯度，這就使梯度隨著n呈指數遞減，導致前端層的訓練非常緩慢。反向傳播使研究人員從頭開始訓練監督式深度人工神經網路，最初收效甚微。 1991年賽普·霍克賴特的畢業論文正式確認了“梯度消失問題”失敗的原因。梯度消失問題不僅影響多層前饋網路，還影響迴圈網路。迴圈網路是透過將前饋網路深度展開來訓練，在網路處理的輸入序列的每個時間步驟中，都會產生一個新的層。當所使用的激勵函式之導數可以取較大值時，則可能會遇到相關的梯度爆炸問題。
metadata: erhwenkuo/wikipedia-zhtw
metadata: 梯度消失問題
metadata: https://zh.wikipedia.org/wiki?curid=6165543