text: 卷積神經網路是一種前饋神經網路，它的人工神經元可以響應一部分覆蓋範圍內的周圍單元，對於大型影象處理有出色表現。卷積神經網路由一個或多個卷積層和頂端的全連通層。這一結構使得卷積神經網路能夠利用輸入資料的二維結構。與其他深度學習結構相比，卷積神經網路在影象和語音識別方面能夠給出更好的結果。這一模型也可以使用反向傳播演算法進行訓練。相比較其他深度、前饋神經網路，卷積神經網路需要考量的引數更少，使之成為一種頗具吸引力的深度學習結構。卷積神經網路的靈感來自於動物視覺皮層組織的神經連線方式。單個神經元只對有限區域內的刺激作出反應，不同神經元的感知區域相互重疊從而覆蓋整個視野。定義.卷積神經網路是人工神經網路的一種特殊型別，在其至少一層中使用稱為卷積的數學運算代替通用矩陣乘法。它們專門設計用於處理畫素資料，並用於影象識別和處理。發展.CNN是根據生物的視覺處理過程來進行設計的。大腦中視覺皮層接收視覺訊號的過程.Hubel和Wiesel在20世紀50年代到20世紀60年代的研究發現，貓和猴子的視覺皮層中包含著能分別對某一小塊視覺區域進行回應的神經元。當眼睛不動的時候，在一定區域內的視覺刺激能使單個神經元興奮，那這個區域就稱為這個神經元的感受野。相鄰的細胞具有相似且重疊的感受野。為了形成一張完整的視覺影象，整個視覺皮層上的神經元的感受野的大小和位置呈現系統性的變化。左腦和右腦分別對應其對側的視野。他們在其1968年的一篇論文中確定了大腦中有兩種不同的基本視覺細胞：Hubel和Wiesel還提出了這兩種細胞用於模式識別任務的級聯模型。結構.卷積神經網路由輸入層、隱藏層和輸出層組成。卷積層.卷積層可以產生一組平行的特徵圖，它透過在輸入影象上滑動不同的卷積核並執行一定的運算而組成。此外，在每一個滑動的位置上，卷積核與輸入影象之間會執行一個元素對應乘積並求和的運算以將感受野內的資訊投影到特徵圖中的一個元素。這一滑動的過程可稱為步幅 Z_s，步幅 Z_s 是控制輸出特徵圖尺寸的一個因素。卷積核的尺寸要比輸入影象小得多，且重疊或平行地作用於輸入影象中，一張特徵圖中的所有元素都是透過一個卷積核計算得出的，也即一張特徵圖共享了相同的權重和偏置項。線性整流層.線性整流層。它可以增強判定函式和整個神經網路的非線性特性，而本身並不會改變卷積層。事實上，其他的一些函式也可以用於增強網路的非線性特性，如雙曲正切函式 formula_2, formula_3，或者Sigmoid函式formula_4。相比其它函式來說，ReLU函式更受青睞，這是因為它可以將神經網路的訓練速度提升數倍，而並不會對模型的泛化準確度造成顯著影響。池化層.池化”是最為常見的。它是將輸入的影象劃分為若干個矩形區域，對每個子區域輸出最大值。直覺上，這種機制能夠有效地原因在於，一個特徵的精確位置遠不及它相對於其他特徵的粗略位置重要。池化層會不斷地減小資料的空間大小，因此引數的數量和計算量也會下降，這在一定程度上也控制了過擬合。通常來說，CNN的網路結構中的卷積層之間都會週期性地插入池化層。池化操作提供了另一種形式的平移不變性。因為卷積核是一種特徵發現器，我們透過卷積層可以很容易地發現影象中的各種邊緣。但是卷積層發現的特徵往往過於精確，我們即使高速連拍拍攝一個物體，照片中的物體的邊緣畫素位置也不大可能完全一致，透過池化層我們可以降低卷積層對邊緣的敏感性。池化層每次在一個池化視窗上計算輸出，然後根據步幅移動池化視窗。下圖是目前最常用的池化層，步幅為2，池化視窗為formula_5的二維最大池化層。每隔2個元素從影象劃分出formula_6的區塊，然後對每個區塊中的4個數取最大值。這將會減少75%的資料量。formula_7除了最大池化之外，池化層也可以使用其他池化函式，例如“平均池化”甚至“L2-範數池化”等。過去，平均池化的使用曾經較為廣泛，但是最近由於最大池化在實踐中的表現更好，平均池化已經不太常用。由於池化層過快地減少了資料的大小，目前的趨勢是使用較小的池化濾鏡，甚至不再使用池化層。RoI池化(Region of Interest)是最大池化的變體，其中輸出大小是固定的，輸入矩形是一個引數。池化層是基於 Fast-RCNN 架構的卷積神經網路的一個重要組成部分。完全連線層.最後，在經過幾個卷積和最大池化層之後，神經網路中的高階推理透過完全連線層來完成。就和常規的非卷積人工神經網路中一樣，完全連線層中的神經元與前一層中的所有啟用都有聯絡。因此，它們的啟用可以作為仿射變換來計算，也就是先乘以一個矩陣然後加上一個偏差(bias)偏移量(向量加上一個固定的或者學習來的偏差量)。應用.影像辨識.卷積神經網路通常在影像辨識系統中使用。視訊分析.相比影像辨識問題，視訊分析要難許多。CNN也常被用於這類問題。自然語言處理.卷積神經網路也常被用於自然語言處理。 CNN的模型被證明可以有效的處理各種自然語言處理的問題，如語義分析、搜尋結果提取、句子建模 、分類、預測、和其他傳統的NLP任務等。藥物發現.卷積神經網路已在藥物發現中使用。卷積神經網路被用來預測的分子與蛋白質之間的相互作用，以此來尋找靶向位點，尋找出更可能安全和有效的潛在治療方法。圍棋.卷積神經網路在計算機圍棋領域也被使用。2016年3月，AlphaGo對戰李世乭的比賽，展示了深度學習在圍棋領域的重大突破。微調.卷積神經網路可以留用之前訓練的大多數引數，從而達到快速訓練收斂的效果。例如保留各個卷積層，只重構卷積層後的全連線層與softmax層即可。
metadata.dataset: erhwenkuo/wikipedia-zhtw
metadata.title: 卷積神經網路
metadata.url: https://zh.wikipedia.org/wiki?curid=4730979