text: 在模式識別中，費雪線性判別中的資料點投影到c-1維空間上去，使得不同類的樣本點在這個空間上的投影儘量分離，同類的儘量緊湊。兩類情況.在二類判別時，費雪線性判別將d維空間中的資料點投影到一條直線上去，使得不同類的樣本點在這條直線上的投影儘量分離，同類的樣本點在這條直線上儘量緊湊。假設有兩類樣本集formula_1的類別為ω1，樣本數為n1，formula_2的類別為ω2，樣本數為n2。定義樣本均值mi和類內散佈Si。formula_3formula_4投影直線的方向向量為w，樣本投影在直線上的值為"y"。則可得兩類樣本投影后的均值和類內散佈為formula_5和formula_6，i=1,2。formula_7formula_8要使不同類的樣本點的投影儘量分離，同類儘量緊湊，可以使兩類的投影的均值的差異儘量大，其方差的和儘量小，也就是要求formula_9最大化。formula_10formula_11可以證明當w滿足formula_12，即w的方向與formula_13相同時，J(w)取得最大值。剩下的問題就是如何求解閾值w0，也就是在這個一維空間中把兩類分開的那個點的位置。當J(w)超過w0就判決為某一類別ω，否則就判決為另一類別。然而目前並沒有一個通用的選取方法。在兩個類別的分佈是多元正態分佈，且協方差矩陣相同時，根據貝葉斯決策理論，formula_14，並且w0是一個與w和先驗機率有關的常數。我們可以用樣本均值與樣本協方差去估計ui和Σ。更一般地說，如果我們對投影后的資料進行平滑，或用一維高斯函式進行擬合，ω0就位於使兩類的後驗機率相同的位置上。多類情況.費雪線性判別在面對二類判別時，將兩類樣本向一條直線投影，也就是將資料從d維空間向1維空間投影。這樣在面對c個類的判別時，所要做就是將資料從d維空間向c-1維空間投影。這就需要推廣投影方程、類間散佈矩陣SB和類內散佈矩陣SW。從d維空間向c-1維空間的投影是透過c-1投影方程進行的：formula_15這裡的formula_16為第i類的樣本集。設formula_17，c-1個方程可以更簡練地表達：formula_18這裡的formula_19為第i類的樣本的投影向量集。類間散佈矩陣SB和類內散佈矩陣SW可以由總體散佈矩陣ST和總體均值向量m推導得到：formula_20formula_21由此定義類間散佈矩陣SB和類內散佈矩陣SW：formula_22formula_23那麼樣本資料的投影向量的類間散佈矩陣formula_24和類內散佈矩陣formula_25：即為：formula_26formula_27與兩類情況類似，要找到某一W使得類內散佈儘量小，類間散佈儘量大。但這裡的類內散佈和類間散佈不再是一個值，而是一個矩陣。矩陣的行列式是矩陣的特徵值的乘積，也就是資料在各個主要方向的方差的積，相當於類別散佈超橢球體的體積的平方。故使用行列式來度量散佈，這樣判別函式即為formula_28可以證明，當W的列向量wi是formula_29的廣義特徵向量時，可以使得J(w)最大。因為SB中c個秩為1或0的矩陣相加，而且其中只有c-1個矩陣是相互獨立的。所以SB的秩最多為c-1。所以最多隻有c-1個特徵向量是非零的。應用.人臉識別.在人臉識別中，每一個人臉影象具有大量的畫素點。LDA主要用來將特徵減少到一個可以處理的數目在進行分類。每一個新的維度都是原先畫素值的線性組合，這就構成了一個模板。這樣獲得的線性組合被稱為Fisher faces,而透過主成分分析獲得的則稱為特徵臉。
metadata: erhwenkuo/wikipedia-zhtw
metadata: 費雪線性判別
metadata: https://zh.wikipedia.org/wiki?curid=3183603