Как вести учет точности предсказаний в профессиональной практике

Любая прогностическая деятельность — от прогноза спроса до оценки риска дефолта — выживает лишь до тех пор‚ пока можно объективно сказать: «Насколько хорошо мы угадываем?» Без систематического учета точности предсказаний модель превращается в дорогую «черную коробку»‚ а эксперт — в гадалку с картами Таро. Ниже приведен практический гайд‚ который поможет внедрить робастную систему учета точности на любом уровне зрелости процессов.

Выбираем целевую метрику: «точность» ≠ accuracy

Классификация задач и соответствующие метрики

• Бинарная классификация: Accuracy‚ Precision‚ Recall‚ F1‚ ROC-AUC‚ PR-AUC‚ Brier Score.
• Многоклассовая классификация: Macro-F1‚ Weighted-F1‚ Cohen’s Kappa‚ Log-loss.
• Регрессия: MAE‚ RMSE‚ MAPE‚ sMAPE‚ R²‚ Pinball Loss (для квантильных прогнозов).
• Временные ряды: MASE‚ RMSSE‚ WAPE‚ MAE/RMSE на горизонтах h = 1…H.
• Вероятностные прогнозы: CRPS‚ PIT‚ Calibration Plots.

Совет: прежде чем внедрять метрику‚ зафиксируйте business-impact функцию. Например‚ для ритейлера оверсток стоит дороже лост-сейла‚ значит оптимальнее минимизировать weighted F-beta с β < 1.

Чек-лист выбора метрики

1. Формализуйте бизнес-штрафы за FP и FN.
2. Оцените дисбаланс классов. При <5 % положительных классов accuracy бесполезна.
3. Определите‚ нужна ли калибровка вероятностей (например‚ для кредитного скоринга, нужна).
4. Согласуйте горизонт прогноза (hourly‚ daily‚ weekly) и требуемую точность на каждом.

Организуем хранение прогнозов и фактов

Минимально жизнеспособная схема данных

Куда писать данные

• Для малого объема: PostgreSQL с partition по target_date.
• Для среднего: ClickHouse или BigQuery (колоночные СУБД‚ быстрый OLAP).
• Для высокой частоты: Apache Druid / Pinot + Kafka для стриминга.

Практическая маска SQL-запроса:

INSERT INTO forecasts (forecast_id‚ model_version‚ point_in_time‚ target_date‚ forecast_value)
VALUES (...);


Автоматизация расчета метрик

ETL-пайплайн «forecast → actual → metric»

1. Scheduler (Airflow / Dagster) запускает даг расчета ошибок с cadence = 1 час.
2. Task 1: JOIN таблицы forecasts и actuals по target_date.
3. Task 2: Рассчитать MAE‚ RMSE‚ MAPE‚ складываем в таблицу metrics_daily.
4. Task 3: Обновлять дашборды (Superset‚ Metabase‚ Grafana).

Пример кода на Python (pandas + pandera для валидации)

import pandera as pa
import pandas as pd

schema = pa.DataFrameSchema({
 "forecast_value": pa.Column(float‚ checks=pa.Check.ge(0))‚
 "actual_value": pa.Column(float‚ nullable=False)‚
 "error": pa.Column(float‚ checks=pa.Check.isin(lambda s: s == s.abs))
})

def compute_wape(df):
 df = schema.validate(df)
 return (df["error"].abs.sum / df["actual_value"].abs.sum) * 100

Визуализация и отчетность

Must-have графики

• Backtest window heatmap: MAPE по дням и горизонтам.
• Residual QQ-plot: проверка нормальности ошибки.
• Calibration plot: предсказанные вероятности vs наблюдаемые частоты.
• Model leaderboard: сравнение версий по скользящему 30-дневному F1.

Пример кода для Grafana (JSON-модель)

{
 "dashboard": {
 "title": "Forecast Accuracy"‚
 "panels": [
 {
 "type": "stat"‚
 "targets": [{
 "rawSql": "SELECT AVG(mape) FROM metrics_daily WHERE model_version = ${model}"
 }]
 }
 ]
 }
}

Ретроспективный анализ и «корма» для улучшения моделей

1. Root-Cause сессии: раз в квартал команда разбирает топ-5 worst-days;
2. Feature Drift Check: сравнение распределений признаков между прогнозным периодом и тренировочным.
3. Backtesting на rolling window: автоматический пересчет метрик при каждом релизе модели.
4. Feedback loop: добавлять новые признаки‚ если MAPE систематически вырастает на выходных или праздниках.

Кейсы из практики

Ритейл: прогноз продаж по 10 000 SKU

Проблема: MAPE на топ-100 SKU < 3 %‚ но в «хвосте» каталога — > 50 %.
Решение: ввели метрику wMAPE с весами = доля выручки; В итоге приоритизировали улучшение именно товаров‚ которые приносят деньги.

Финтех: оценка PD (Probability of Default)

Проблема: модель калибрована на 2019 год‚ но ковид 2020 сместил распределение.
Решение: добавили rolling calibration plot и автоматический пересчет Brier Skill Score. При падении KPI < −5 % модель автоматически отправлялась на дообучение.

Чек-лист внедрения за 7 дней

Системный учет точности превращает моделирование из искусства в инженерную дисциплину. Главное — начать с минимального набора (точка прогноза‚ факт‚ ошибка) и итеративно усложнять: вводить квантили‚ веса‚ горизонты‚ backtesting. Через пару спринтов вы получите «единую версию правды» о качестве предсказаний‚ на которую можно опереться при планировании инвестиций в данные и модели.