Управление параметром λ в GAE: от стабильности к адаптивности

Введение

Параметр λ в Generalized Advantage Estimation (GAE) играет ключевую роль в обучении с подкреплением. Он управляет тем, насколько агент доверяет будущим шагам при оценке преимущества действия. Однако выбор λ — это не просто гиперпараметр настройки, а решение о характере обучения: быстрое и шумное или стабильное и медленное.

В этой статье мы рассмотрим:

что именно делает λ в GAE,
какие эффекты он даёт на практике,
и стоит ли его адаптировать во времени — как часть стратегии обучения.

1. Что делает λ в GAE?

Напомним: GAE вычисляет сглаженное преимущество действия как экспоненциально затухающую сумму TD-ошибок:

Â_t = Σ_l=0^∞ (γ λ)^l δ_t+l

Где δ_t = r_t + γ V_t+1 - V_t

Параметр λ ∈ [0, 1]:

λ = 0.0 — учитывается только ближайшая TD-ошибка, преимущество рассчитывается быстро, но шумно.
λ = 1.0 — учитывается весь путь до конца эпизода, сигнал становится гладким, но более подвержен ошибкам value-функции.

Таким образом, λ управляет компромиссом:

между дисперсией (шум) и
смещением (ошибки из-за неточного V).

2. Как λ влияет на обучение

λ	Поведение
0.0	Быстрые, резкие обновления, очень чувствительные к шуму
0.9–0.97	Баланс между стабильностью и чувствительностью
1.0	Мягкое, но инерционное поведение, зависит от V-функции

При низком λ — агент быстро реагирует, но часто дестабилизируется. Это полезно на старте, когда value-функция ещё грубая.
При высоком λ — обучение устойчивее, но медленнее и сильнее зависит от точности оценки ценности.

3. Как выбирать λ: практические рекомендации

Статическое значение (наиболее распространено):

В PPO, A2C, A3C обычно используют: λ = 0.95 или 0.97
Это значение работает хорошо в большинстве задач и не требует тюнинга.

Однако…

Зависимость от среды:

Если эпизоды короткие → лучше чуть ниже λ.
Если delayed reward (долгосрочные награды) → λ ближе к 1.0.

Зависимость от критика:

Если value-функция плохо обучена — лучше уменьшить λ, чтобы уменьшить смещение.
Если критик стабилен и точен — можно увеличить λ, чтобы использовать более гладкие сигналы.

4. Нужно ли адаптировать λ во времени?

Это малоисследованная, но перспективная идея.

Потенциальная стратегия:

На ранних этапах обучения:
- агент не понимает, как работает среда,
- value-функция неточная,
- используем низкий λ (например, 0.90), чтобы быстро реагировать.
На зрелых этапах:
- value-функция уже надёжна,
- поведение стабилизируется,
- переходим к λ = 0.97–0.99, чтобы сглаживать сигналы и дообучать стратегию.

Возможная формула изменения:

λ_adaptive(t) = λ_min + (λ_max - λ_min) · (1 - e^-kt)

Где:

t — шаг/эпоха/процент обучения,
k — скорость роста,
λ_min, λ_max ∈ [0.8, 0.99]

5. Возможность обучения λ

Теоретически можно делать λ обучаемым параметром, как часть модели. Однако это требует:

устойчивых градиентов через весь GAE-процесс,
архитектурной поддержки и регуляризации,
большого числа эпизодов.

На практике:

В энд-ту-энд системах — редко используется.
Чаще — фиксированный или вручную адаптируемый λ.

6. Визуализация и диагностика

Если ты хочешь понять, подходит ли λ:

построй график advantage'ов при разных λ (мы это сделали ранее),
проверь smoothness vs variance,
анализируй сходимость: если стратегия колеблется — λ слишком низкий.

Заключение

λ в GAE — это регулятор горизонта памяти и степени доверия к будущему. Правильный выбор этого параметра может серьёзно повлиять на:

скорость сходимости,
устойчивость политики,
чувствительность к шуму и ошибкам критика.

Хотя в большинстве случаев работает фиксированное значение (например, 0.95), в сложных задачах или продвинутых системах стоит рассматривать адаптивные стратегии, особенно при поэтапном обучении.