Диагностика модели: зачем нужны показатели Magnitude Correlation и Magnitude Ratio
Как использовать Magnitude Correlation и Magnitude Ratio для оценки качества прогнозов и понимания поведения модели в задачах прогнозирования временных рядов.
Что такое диагностика модели?
Когда мы обучаем модель прогнозировать временные ряды или любые количественные значения, нам важно не только измерить её точность в терминах ошибки, но и понять качество самой формы и масштаба предсказаний.
Два ключевых показателя для диагностики
1. Magnitude Correlation
Корреляция величины — показывает, насколько предсказанные значения меняются синхронно с реальными.
2. Magnitude Ratio
Соотношение величин — показывает, насколько средний масштаб предсказаний соответствует среднему масштабу реальных данных.
Magnitude Correlation: корреляция величины
Что измеряет:
Magnitude Correlation показывает, насколько предсказанные значения меняются синхронно с реальными. Это ключевой показатель для понимания, правильно ли модель улавливает направление и форму изменений.
+1.0
Идеальная положительная корреляция: если реальное значение растёт, модель предсказывает рост, и наоборот.
0.0
Нет зависимости: модель не улавливает связь между ростом/падением реального значения и своим прогнозом.
-1.0
Идеальная отрицательная корреляция: модель движется в противоположном направлении от реальности.
Ключевое значение: Высокая корреляция означает, что модель правильно улавливает относительные изменения — даже если масштаб пока не идеален.
Magnitude Ratio: соотношение величин
Что измеряет:
Magnitude Ratio показывает, насколько средний масштаб предсказаний соответствует среднему масштабу реальных данных. Это критически важно для понимания, правильно ли модель оценивает амплитуду изменений.
1.0
Идеальный масштаб: амплитуда колебаний модели и реальности совпадают.
< 1.0
Занижение: модель предсказывает меньше реального (например, в два раза меньше).
> 1.0
Завышение: модель предсказывает больше реального (например, в 10 раз больше).
Ключевое значение: Правильный масштаб критически важен для практического применения модели в реальных задачах.
Взаимодополняющая роль показателей
Как работают вместе:
Magnitude Correlation отвечает за правильность формы изменений, а Magnitude Ratio — за правильность масштаба. Вместе они дают более полную картину качества модели.
Пример комбинированного анализа:
Модель может отлично «угадывать» направление и форму колебаний (высокая корреляция), но при этом быть слишком осторожной или слишком агрессивной по амплитуде (неидеальное соотношение величин).
Высокая корреляция + Правильный масштаб
Отличная модель: правильно улавливает и направление, и амплитуду изменений.
Высокая корреляция + Неправильный масштаб
Хорошая основа: модель понимает паттерны, но нужна настройка масштаба.
Низкая корреляция + Правильный масштаб
Случайное совпадение: масштаб может быть случайным, нужна доработка логики.
Низкая корреляция + Неправильный масштаб
Проблемная модель: нужна серьезная доработка или переобучение.
Математические формулы
Magnitude Correlation:
Corr = Cov(ŷ, y) / (σ_ŷ × σ_y)
где:
ŷ — предсказанные значения
y — реальные значения
σ_ŷ, σ_y — стандартные отклонения
Magnitude Ratio:
Ratio = σ_ŷ / σ_y
где:
σ_ŷ — стандартное отклонение предсказаний
σ_y — стандартное отклонение реальных данных
Практические примеры
Пример 1: Консервативная модель
Результаты: Magnitude Correlation = 0.85, Magnitude Ratio = 0.6
Интерпретация: Модель хорошо улавливает направление изменений (высокая корреляция), но предсказывает изменения в 1.67 раза меньше реальных (Ratio < 1). Модель слишком консервативна.
Пример 2: Агрессивная модель
Результаты: Magnitude Correlation = 0.78, Magnitude Ratio = 1.8
Интерпретация: Модель улавливает направление (хорошая корреляция), но предсказывает изменения в 1.8 раза больше реальных. Модель слишком агрессивна.
Пример 3: Качественная модель
Результаты: Magnitude Correlation = 0.92, Magnitude Ratio = 1.05
Интерпретация: Отличная модель — высоко коррелирует с реальностью и имеет практически идеальный масштаб (отклонение всего 5%).
Когда использовать эти показатели
Прогнозирование временных рядов
Для оценки качества моделей, предсказывающих цены, объемы, доходности и другие финансовые метрики.
Регрессионные задачи
В любых задачах регрессии, где важно понимать не только точность, но и качество масштаба.
Сравнение моделей
Для объективного сравнения разных архитектур и подходов к решению задачи.
Отладка моделей
Для понимания, где именно модель ошибается — в направлении или в масштабе.
Практические рекомендации
Как интерпретировать результаты:
- 1Начните с корреляции — если она низкая (< 0.5), модель не улавливает паттерны
- 2Оцените масштаб — если Ratio далек от 1.0, модель неправильно оценивает амплитуду
- 3Приоритизируйте проблемы — сначала исправляйте низкую корреляцию, потом масштаб
- 4Мониторьте в процессе обучения — следите за изменением обоих показателей
- 5Используйте для валидации — включайте эти метрики в процесс кросс-валидации
Ключевые выводы
- • Magnitude Correlation — показывает правильность формы и направления изменений
- • Magnitude Ratio — показывает правильность масштаба и амплитуды
- • Взаимодополняющие показатели — вместе дают полную картину качества модели
- • Практическая важность — критически важны для реального применения моделей
- • Инструмент диагностики — помогают понять, где именно модель ошибается
Философия подхода
Для качественной модели нужны и высокая корреляция, и корректный масштаб. Одно без другого не даст полноценного результата.
Эти показатели позволяют перейти от простого измерения ошибки к глубокому пониманию того, как именно модель интерпретирует и воспроизводит паттерны в данных.