← ДокументацияDOCS / Neural Networks / Механизмы внимания

Механизмы внимания как инструмент выбора оптимального поведения в нейросетевых архитектурах

Введение

Современные задачи принятия решений в высокоразмерных и нестабильных средах — таких как финансовые рынки — требуют моделей, способных адаптивно выбирать релевантную информацию из потока данных и на основе неё формировать оптимальное поведение. Одним из наиболее эффективных механизмов, реализующих эту задачу, является механизм внимания (attention), лежащий в основе архитектур типа Transformer.

В данной статье рассмотрено, как механизм внимания позволяет реализовать контекстно-зависимый выбор информации, необходимый для оптимизации поведения агента в условиях неопределённости. В частности, внимание интерпретируется как обобщённый механизм фильтрации и фокусировки, решающий задачу информационной релевантности при ограниченных ресурсах.

1. Attention: формальное описание

Внимание — это модуль внутри трансформерных архитектур, который позволяет модели взвешенно агрегировать информацию из входной последовательности. Базовая формула scaled dot-product attention имеет следующий вид:

Attention(Q, K, V) = softmax((QK^T) / √d_k) V

Где:

  • Q ∈ R^(n×d) — матрица запросов (queries)
  • K ∈ R^(n×d) — матрица ключей (keys)
  • V ∈ R^(n×d) — матрица значений (values)
  • d_k — размерность ключей

1.1 Архитектура энкодера: общая структура

Каждый энкодер состоит из N идентичных блоков (обычно N = 6), каждый из которых содержит две основные подсистемы:

  1. Многоголовочное внимание (Multi-head Self-Attention)
  2. Полносвязный feedforward-блок

Схема одного блока энкодера:

Input → +------------------------+ | Multi-Head Attention   | | + Residual + LayerNorm | +------------------------+ ↓ +------------------------+ | Feedforward (MLP)      | | + Residual + LayerNorm | +------------------------+ ↓ Output Representation

Каждый слой включает residual connection и layer normalization, что обеспечивает стабильность градиентов и ускоряет обучение.

Residual connection:

Output = x + Sublayer(x)

Layer Normalization:

Norm(x) = (x - μ) / √(σ² + ε)

2. Входные данные: позиционное кодирование

Поскольку трансформер не имеет встроенного представления порядка (в отличие от RNN), используется позиционное кодирование, которое добавляется к входным эмбеддингам.

Это позволяет модели учитывать относительное и абсолютное положение элементов.

X = Embedding(T) + PositionalEncoding(P)

Где:

  • T ∈ N^L — последовательность индексов токенов
  • X ∈ R^(L×d) — вход в трансформер
  • P ∈ R^(L×d) — позиционные коды

Таким образом, каждый входной токен получает:

  • семантическое представление через embedding
  • положение в последовательности через позиционную составляющую

Важно: вся дальнейшая обработка модели происходит в непрерывном пространстве — после слоя эмбеддингов модель больше не оперирует дискретными символами.

3. Multi-Head Self-Attention

Это центральный механизм энкодера. Он позволяет каждому токену извлекать информацию из всех других токенов с учётом контекста.

Каждая голова обучается выделять свой тип взаимосвязей между токенами (например, локальные зависимости, долгосрочные связи и т.п.).

4. Feedforward-слой

После блока внимания каждый токен проходит через независимую полносвязную нейросеть.

Это позволяет повысить выразительную способность модели за счёт нелинейного преобразования локального контекста токена.

5. Residual + LayerNorm

Каждый основной блок (attention и feedforward) окружён механизмами:

  • Residual connection — позволяет градиентам проходить напрямую
  • Layer normalization — стабилизирует распределение активаций

6. Эмбеддинги как обобщённый способ представления любых объектов

Хотя традиционно эмбеддинги применялись к словам, их область применения существенно шире:

Тип данныхОбъект эмбеддинга
ТекстТокены / слова
Временные рядыСобытия / фичи
ТаблицыКатегории / флаги
ГрафыУзлы / рёбра
ИзображенияПатчи / регионы
Поведение агентаДействия / состояния
Продукты/пользователиИдентификаторы

Каждый эмбеддинг — это способ перевода структуры и семантики в пространство линейной алгебры, где становится возможна оптимизация.

Заключение

Эмбеддинги являются фундаментом всех современных нейросетевых моделей. Они позволяют:

  • объединить дискретную информацию с непрерывной математикой
  • структурировать данные в обучаемом пространстве
  • обеспечить масштабируемость и гибкость модели
  • построить унифицированную архитектуру для разнообразных входов

В архитектурах типа трансформеров эмбеддинги — это не просто преобразователь на входе, а часть общей оптимизационной системы, обучающейся совместно с attention, feedforward и другими компонентами.

Механизмы внимания как инструмент выбора оптимального поведения