text: 受限玻爾茲曼機，但直到傑弗裡·辛頓及其合作者在2000年代中葉發明快速學習演算法後，受限玻茲曼機才變得知名。受限玻茲曼機在降維、分類、協同過濾、特徵學習和主題建模中得到了應用。根據任務的不同，受限玻茲曼機可以使用監督學習或無監督學習的方法進行訓練。正如名字所提示的那樣，受限玻茲曼機是一種玻茲曼機的變體，但限定模型必須為二分圖。模型中包含對應輸入引數的輸入演算法。受限玻茲曼機也可被用於深度學習網路。具體地，深度信念網路可使用多個RBM堆疊而成，並可使用梯度下降法和反向傳播演算法進行調優。結構.標準的受限玻爾茲曼機由二值的“能量”("v","h")被定義為formula_8或者用矩陣的形式表示如下：formula_9這一能量函式的形式與霍普菲爾德神經網路相似。在一般的玻爾茲曼機中，隱層和可見層之間的聯合機率分佈由能量函式給出：formula_10其中，formula_11為配分函式，定義為在節點的所有可能取值下formula_12的和。類似地，可見層取值的邊緣分佈可透過對所有隱層配置求和得到：formula_13由於RBM為一個二分圖，層內沒有邊相連，因而隱層是否啟用在給定可見層節點取值的情況下是條件獨立的。類似地，可見層節點的啟用狀態在給定隱層取值的情況下也條件獨立。亦即，對formula_14個可見層節點和formula_15個隱層節點，可見層的配置h的條件機率如下：formula_16.類似地，v的條件機率為formula_17.其中，單個節點的啟用機率為formula_18和formula_19其中formula_20代表邏輯函式。與其他模型的關係.受限玻爾茲曼機是玻爾茲曼機和馬爾科夫隨機場的一種特例。這些機率圖模型可以對應到因子分析。訓練演算法.受限玻爾茲曼機的訓練目標是針對某一訓練集formula_21，最大化機率的乘積。其中，formula_21被視為一矩陣，每個行向量作為一個可見單元向量formula_23：formula_24或者，等價地，最大化formula_21的對數機率期望：formula_26訓練受限玻爾茲曼機，即最最佳化權重矩陣formula_27，最常用的演算法是傑弗裡·辛頓提出的對比分歧演算法。這一演算法最早被用於訓練辛頓提出的“專家積”模型。這一演算法在梯度下降的過程中使用吉布斯取樣完成對權重的更新，與訓練前饋神經網路中利用反向傳播演算法類似。基本的針對一個樣本的單步對比分歧步驟可被總結如下：偏置b也可以使用類似的方法更新。
metadata.dataset: erhwenkuo/wikipedia-zhtw
metadata.title: 受限玻爾茲曼機
metadata.url: https://zh.wikipedia.org/wiki?curid=4237744