text: LogSumExp函式是一個平滑最大值——一個對極值函式的光滑近似，主要用在機器學習演算法中。 其定義為引數的指數的和的對數：formula_1性質.LogSumExp函式的定義域為formula_2。它是對極值函式formula_4的近似，同時有如下的界限：formula_5第一個不等式在formula_6以外的情況是嚴格成立的，第二個不等式僅在所有元素相等時取等號。另外，我們可以將不等式縮放到更緊的界限。考慮函式formula_9。然後，formula_10此外，如果我們乘上一個負數，可以得到一個與formula_18有關的不等式：formula_19LogSumExp函式是凸函式，因此在定義域上嚴格遞增。 令formula_20，偏導數為：formula_21表明LogSumExp的梯度是softmax函式。LogSumExp的凸共軛是。對數域中的log-sum-exp計算技巧.當通常的算術計算在對數尺度上進行時，經常會遇到LSE函式，例如對數機率。類似於線性尺度中的乘法運算變成對數尺度中的簡單加法，線性尺度中的加法運算變成對數尺度中的LSE：formula_22使用對數域計算的一個常見目的是在使用有限精度浮點數直接表示非常小或非常大的數字時提高精度並避免溢位問題.不幸的是，在一些情況下直接使用 LSE 依然會導致上溢/下溢問題，必須改用以下等效公式。 因此，IT++等很多數學庫都提供了LSE的預設例程，並在內部使用了這個公式。formula_23其中formula_24一個嚴格凸的log-sum-exp型函式.LSE是凸的，但不是嚴格凸的。我們可以透過增加一項為零的額外引數來定義一個嚴格凸的log-sum-exp型函式：formula_25This function is a proper Bregman generator (strictly convex and differentiable).It is encountered in machine learning, for example, as the cumulant of the multinomial/binomial family.在中，這是的和。
metadata.dataset: erhwenkuo/wikipedia-zhtw
metadata.title: LogSumExp
metadata.url: https://zh.wikipedia.org/wiki?curid=8149415