Первые 40 закрытых прогнозов: у модели проблема с ничьими
Сорок закрытых прогнозов, точность 42,5%. Одиннадцать матчей завершились вничью, и ни в одном из них модель ничью не выбрала — ни разу из сорока. Показываем цифру и что с ней делаем.
Два дня назад мы начали записывать каждый прогноз до стартового свистка и автоматически сверять его с результатом. Сорок уже закрыты. Это первый честный взгляд на табло, включая ту часть, которая нас не красит.
17 попаданий из 40. Точность 42,5%.
Цифра, которая прячется за цифрой
Одиннадцать из этих сорока матчей закончились вничью. Это 27,5% выборки — примерно столько, сколько футбол и даёт.
Модель выбрала ничью ноль раз. Ни разу за сорок попыток.
Значит, все одиннадцать ничьих ушли в промахи автоматически. Из 23 промахов на них приходится 11, почти половина. Если убрать ничьи и считать только матчи, где кто-то победил, счёт 17 из 29, то есть 58,6%.
Вся история в этом разрыве. Модель неплохо читает матч, когда в нём есть победитель. Понятия «ничья» у неё фактически нет.
Два дня назад мы утверждали обратное
10 сентября мы разбирали первый тур Лиги чемпионов и написали, что рынок оценивает ничью выше нашей модели во всех пяти рассмотренных матчах. Назвали это самым внятным сигналом выборки и сказали, что он склоняет скорее не брать ничью.
Две игры из этих пяти закончились вничью. ПСВ с 65% дома расписал мировую с «Шахтёром». «Рома», наш выбор с 51%, не обыграла «Фенербахче» в Стамбуле.
Прав оказался рынок. Мы ошиблись — причём ровно в ту сторону, в которую сами только что советовали смотреть. Ради публикации таких поправок леджер и заводится.
Где это обошлось дороже всего
Дорогая версия слепого пятна — когда очки теряют явные фавориты:
| Матч | Фаворит по модели | Результат |
|---|---|---|
| АЗ Алкмар – Виллем II | АЗ, 81% | ничья |
| Челси – Халл Сити | Челси, 76% | ничья |
| Аль-Кадисия – Аль-Иттифак | хозяева, 75% | ничья |
| Ливерпуль – Фулхэм | Ливерпуль, 65% | ничья |
Четыре команды, которых наши же цифры считали почти безусловными фаворитами, потеряли очки. Модель, которая не отводит ничьей заметного веса, будет наступать на это снова.
В Премьер-лиге тур провален целиком
Закрыто пять матчей английской Премьер-лиги. Не угадан ни один.
- «Борнмут» – «Брентфорд»: ставили на хозяев, вышла ничья
- «Кристал Пэлас» – «Ипсвич»: ставили на хозяев, выиграл «Ипсвич»
- «Астон Вилла» – «Ноттингем Форест»: ставили на хозяев, выиграл «Форест»
- «Челси» – «Халл Сити»: ставили на хозяев, ничья
- «Ливерпуль» – «Фулхэм»: ставили на хозяев, ничья
Ноль из пяти, и внутри виден рисунок: во всех пяти случаях выбирались хозяева, трижды матч закончился вничью. Ранняя стадия английского сезона оказалась куда более рваной, чем ожидали наши входные данные, а фактор своего поля работает слабее, чем считает модель.
Что дальше
Сорок матчей — не та выборка, по которой перекраивают модель, и делать вид, что это не так, мы не будем. Но её хватает, чтобы назвать конкретный проверяемый дефект: вероятность ничьей занижена, а вероятность победы хозяев в равных внутренних матчах завышена.
Отсюда два следствия. Первое: любой прогноз, где вероятность ничьей в равном матче опускается ниже примерно 25%, мы считаем подозрительным, пока выборка не вырастет. Второе: это же табло опубликуем повторно на 150 закрытых прогнозах, когда процент попаданий начнёт нести доверительный интервал, который не стыдно приводить.
До тех пор читайте наши проценты как то, чем они являются: мнение модели с известным слепым пятном, опубликованное до матча и оставленное как есть независимо от того, сработало оно или нет.
Текущая статистика вместе со всеми промахами выше — на странице точности прогнозов. Как считаются цифры, описано в методологии.
18+. Ничто из написанного не является советом делать ставку. Модель с точностью 42,5% по собственным прогнозам — это не система для игры.