text: 注意力機制是人工神經網路中一種模仿認知注意力的技術。這種機制可以增強神經網路輸入資料中某些部分的權重，同時減弱其他部分的權重，以此將網路的關注點聚焦於資料中最重要的一小部分。資料中哪些部分比其他部分更重要取決於上下文。可以透過梯度下降法對注意力機制進行訓練。類似於注意力機制的架構最早於1990年代提出，當時提出的名稱包括乘法模組。概述.假設我們有一個以索引formula_1排列的標記序列。對於每一個標記formula_1，神經網路計算出一個相應的滿足formula_3的非負軟權重formula_4。每個標記都對應一個由詞嵌入得到的向量formula_5。加權平均formula_6即是注意力機制的輸出結果。可以使用查詢-鍵機制計算軟權重。從每個標記的詞嵌入，我們計算其對應的查詢向量formula_7和鍵向量formula_8。再計算點積formula_9的softmax函式便可以得到對應的權重，其中formula_1代表當前標記、formula_11表示與當前標記產生注意力關係的標記。某些架構中會採用多頭注意力機制。語言翻譯示例.下圖展示了將英語翻譯成法語的機器，其基本架構為編碼器-解碼器結構，另外再加上了一個注意力單元。在圖示的簡單情況下，注意力單元只是迴圈層狀態的點積計算，並不需要訓練。但在實踐中，注意力單元由需要訓練的三個完全連線的神經網路層組成。這 三層分別被稱為查詢。下表是每一步計算的示例。為清楚起見，表中使用了具體的數值或圖形而非字母表示向量與矩陣。巢狀的圖形代表了每個h都包含之前所有單詞的歷史記錄。在這裡，我們引入注意力分數以得到所需的注意力權重。以矩陣展示的注意力權重表現了網路如何根據上下文調整其關注點。對注意力權重的這種展現方式回應了人們經常用來批評神經網路的可解釋性問題。對於一個只作逐字翻譯而不考慮詞序的網路，其注意力權重矩陣會是一個對角佔優矩陣。這裡非對角佔優的特性表明注意力機制能捕捉到更為細微的特徵。在第一次透過解碼器時，94%的注意力權重在第一個英文單詞“I”上，因此網路的輸出為對應的法語單詞“je”。變體.注意力機制有許多變體：點積注意力(dot-product attention）、QKV注意力。
metadata.dataset: erhwenkuo/wikipedia-zhtw
metadata.title: 注意力機制
metadata.url: https://zh.wikipedia.org/wiki?curid=8006034