Публичный журнал

Это та же мера, что и в разделе бэктеста, но посчитанная не на прошлом, а на прогнозах, которые мы действительно опубликовали и которые уже сыграли. Сравниваем себя с наивным прогнозом «всегда предсказывай среднюю частоту этого рынка» — по 16 рынкам.

Сейчас выигрыша над базой нет. Значит высокая доля попаданий объясняется тем, что мы выбираем рынки с высокой базовой частотой, а не тем, что угадываем лучше других.

Одна поправка, честная в обе стороны. Базовая частота здесь считается по этой же выборке, то есть по уже известным исходам. Наивному прогнозу это даёт фору: он «знает» ответ, которого заранее знать невозможно. На десятках тысяч прогнозов такая фора исчезает, а на 548 она заметна и тянет нашу цифру вниз. Поэтому число станет по-настоящему осмысленным ближе к тысяче рассчитанных прогнозов — но и до тех пор оно висит здесь как есть.

Мы публикуем это число независимо от того, какое оно получилось. В этом весь смысл открытого журнала: цифру, которую показывают только когда она красивая, читать бессмысленно.

Мы сравниваем себя не с монеткой, а с наивным прогнозом «всегда предсказывай среднюю частоту этого рынка в лиге». Монетка — это 50 на 50, а наши рынки проходят в 70–75% случаев сами по себе: тотал больше 1.5 берётся в трёх матчах из четырёх без всякой модели.

Выигрыш модели сверх базовой частоты сейчас близок к нулю. Это значит, что высокая доля попаданий объясняется выбором рынков с высокой базовой частотой, а не предсказательной силой. Мы публикуем это, потому что обещали публиковать статистику, даже когда она неудобна.

Работа над тем, чтобы преимущество появилось, идёт: ситуационные поправки — травмы, арбитры, погода — в этот бэктест не входят, потому что ретроспективно их нет. Возможно, ценность именно там.

Модель прогнана по прошлым сезонам задним числом. Профили команд считались строго по сезонам, предшествующим тестируемому, — заглядывания вперёд нет.

С таблицей живых прогнозов выше эти цифры не смешиваются никогда.