Суфлер: Вы знаете, что такое механизм внимания к себе?
Механизм внимания (англ. Attention) — это техника, имитирующая когнитивное внимание в искусственных нейронных сетях. Этот механизм может усиливать вес одних частей входных данных нейронной сети, при этом ослабляя вес других частей, чтобы сфокусировать внимание сети на наиболее важной небольшой части данных. Какие части данных важнее других, зависит от контекста. Механизм внимания можно тренировать с помощью градиентного спуска.
Внимание к себе — это вариант механизма внимания. представляет собой механизм внимания, связанный с разными позициями одной последовательности для вычисления представлений одной и той же последовательности. Он оказался полезным при машинном чтении, абстрактном обобщении или создании описания изображения.
Механизм самовнимания (Self-attentionmechanic) — вариант механизма внимания, который снижает зависимость от внешней информации и лучше улавливает внутреннюю корреляцию данных или признаков.