Как NextPoint честно оценивает шанс попасть в турнир

Есть один конкретный вечер, ради которого написана эта статья. До закрытия заявок день или два, есть турнир, которого игрок хочет, — нужная неделя, нужная страна, нужный грейд, — и кто-то в доме задаёт единственный вопрос, который в этот момент важен. Попаду ли я на этот турнир?

Хотеть это знать совершенно разумно. Перелёты не бесплатны, школьных дней не бесконечно много, и никто не хочет строить две недели вокруг события, которое заканчивается запасным списком. Поэтому возникает соблазн пойти искать инструмент, который просто скажет тебе: чистое, уверенное число, чем выше, тем лучше.

Я хочу объяснить как можно прямее, почему это чистое число обычно — маленькая ложь, и как вместо него выглядит честная версия. Честная версия не начинается с процента. Она начинается с признания, что попадание по-настоящему, структурно неопределённо, — и всё равно оказывается полезной.

Почему попадание по-настоящему неопределённо

Это не кокетство с нашей стороны. Попадание на турнир неопределённо по причинам, которые заложены в самой механике того, как работают заявки, и никакая, даже самая хитрая математика этих причин не убирает.

• Рейтинги двигаются каждую неделю. Список, который решает, кто попадёт, — это не тот список, на который ты смотришь сегодня вечером. Отсюда и до заморозки заявок каждый игрок в турнирном поле играет, выигрывает, проигрывает и перераспределяется в рейтинге. Твоя позиция относительно линии отсечения смещается, даже если твой собственный рейтинг никогда не меняется, просто потому что все вокруг тебя тоже двигаются.
• Люди снимаются. Турнир, который сегодня выглядит заполненным, редко остаётся заполненным. Травмы, накладки в расписании, вариант получше на той же неделе — снятия тянут действующую линию отсечения вниз, иногда резко, иногда прямо до регистрации (sign-in). Заявка, которая в понедельник выглядит безнадёжной, к пятнице может стать запасным местом.
• Размер сетки задаёт потолок. Сетка на 32, на 48 и на 64 напрямую принимают очень разное число игроков. Один и тот же рейтинг может быть комфортным прямым попаданием на одном турнире и надеждой на квалификацию на следующем — исключительно из-за того, сколько существует мест.
• Квалификация и запасные — вторая лотерея. Пролететь мимо основной сетки — это ещё не конец истории: есть квалификация, есть регистрация (sign-in), есть список запасных, который двигается в тот же день. Каждое из этого — своя маленькая неопределённость, наложенная на первую.

Если вам нужна вся цепочка целиком — IPIN, заявка, список принятых, заморозка, снятия, регистрация, — мы проходим её всю в статье Как на самом деле работает юниорская заявка ITF. Короткая версия для наших целей: шансы на попадание в теннисный турнир — движущаяся мишень, а не фиксированный факт. Всё, что подаёт их как фиксированные, описывает фотографию реки.

Список, который вы видите сегодня вечером, — не тот, что решает. Один этот факт и есть причина, почему честная оценка обязана быть диапазоном.

Почему голые «72 %» хуже, чем бесполезны

Теперь представьте инструмент, который даёт вам чистое число. Вы вводите рейтинг, выбираете турнир, и он печатает 72 %. Это приятно. Это ощущается как ответ.

Присмотритесь — и обнаружите, что под ним ничего нет. Ни намёка на то, что сдвинуло число к 72, а не к 61 или 84. Ни признака того, сколько инструмент на самом деле знает об этой конкретной сетке. Ни признания того, что список заявок будет перемешиваться неделями, прежде чем начнёт что-то значить. Это число в белом халате — с виду точное и настолько же не отвечающее ни за что.

Настоящая проблема голых 72 % не в том, что они слишком высоки или слишком низки. Проблема в том, что они завершают разговор. С ними нельзя спорить, потому что они не показывают ничего, против чего можно возразить. Их нельзя сверить с тем, что вы знаете, — что на этом турнире всегда снимается с десяток человек, что половина сеяных гоняется за очками где-то ещё на той неделе. Остаётся только верить в них или нет. А цифра, в которую можно только верить или которую можно только отвергнуть, без всякой возможности её допросить, — это противоположность полезного накануне дедлайна, который стоит настоящих денег.

Число, которое нельзя поставить под вопрос, — это не информация. Это настроение с десятичной точкой.

Ложная точность — это своя разновидность нечестности. Инструмент, который говорит 72 %, заявляет уверенность, которую лежащая в основе реальность — еженедельные сдвиги рейтинга, непредсказуемые снятия, ещё не устоявшаяся линия отсечения — попросту не подкрепляет. Мы скорее откажемся от сиюминутного удовлетворения от смелого числа, чем продадим определённость, которой у нас нет.

Как на самом деле выглядит честная оценка

Так что вот форма, на которой мы остановились. Внутри Decision Score шанс попадания никогда не бывает единственной цифрой. Это три вещи, показанные вместе, и что-то значат они только как набор.

1. Помеченный диапазон «Est.». Не «72 %», а что-то вроде Est. 60–75 % — с «Est.» прямо на ярлыке, потому что это оценка, и ярлык должен об этом говорить. Диапазон честен так, как точечное значение честным быть не может. Его ширина — не расплывчатость; это оценка сама сообщает вам, сколько места на деле занимает неопределённость. Узкий диапазон говорит, что ситуация довольно устоялась. Широкий говорит, что линия отсечения ещё может пойти несколькими путями, — а это реальная и полезная вещь, которую стоит знать, прежде чем что-либо бронировать.

2. Пометка об уверенности. Диапазон идёт вместе с простым указанием того, насколько мы уверены, — умеренная уверенность, скажем, или низкая уверенность, скудный список заявок. Уверенность и диапазон отвечают на два разных вопроса. Диапазон говорит, где, по-нашему, проходит линия; уверенность говорит, насколько доверять тому, что мы вообще видим эту линию. Широкий диапазон при высокой уверенности («и правда может пойти в любую сторону, и в этом мы уверены») — совсем другое сообщение, чем узкий диапазон при низкой уверенности («это догадка, наряженная под точность»), и вы заслуживаете возможности их различать.

3. Факторы, которые вносят вклад. Ниже, словами, то, что на самом деле сдвинуло оценку: где рейтинг игрока стоит относительно текущего списка заявок, насколько близко это ставит его к типичной линии отсечения для этого грейда и размера сетки, есть ли у этого турнира история массовых снятий, задействована ли вообще квалификация. Это рукоятки. Именно они позволяют тренеру кивнуть и сказать «да, но этот всегда пустеет на последней неделе» и подправить прочтение знанием, которого у модели нет.

Вместе взятое, это читается не столько как оракул, сколько как хорошо организованное второе мнение:

Est. 60–75 % · умеренная уверенность — рейтинг стоит прямо внутри типичной линии отсечения для этого размера сетки, но два месяца снятий могут сдвинуть её в любую сторону до заморозки.

Это фраза, с которой вы можете что-то сделать. Вы можете согласиться с ней, возразить ей или отнести её тренеру как начало двухминутного разговора вместо двадцатиминутной таблицы.

Факторы, и почему важно, «какой рейтинг»

Один фактор заслуживает отдельной пометки, потому что спотыкает больше людей, чем любой другой: о каком рейтинге мы вообще говорим?

У юниора может быть рейтинг ITF World Tennis Tour Juniors, рейтинг Tennis Europe, национальный рейтинг и оценка уровня (rating), такая как WTN или UTR, — и они не сходятся, потому что созданы измерять разные вещи в разных окнах. Список заявок составляется против одной конкретной системы, так что «где я в списке» полностью зависит от того, какое число использует турнир. Считывать шансы на попадание не с того рейтинга — распространённый и тихий способ грубо ошибиться. Если алфавитный суп систем расплывается, наш инструмент сравнения рейтингов раскладывает, что измеряет каждая и почему они расходятся.

Остальное — движущиеся части из начала статьи, сделанные конкретными для одного турнира: где игрок стоит в живом списке заявок, размер сетки, типичная линия отсечения грейда, история снятий на турнире и расширяет ли квалификация дверь. Ни одна из них не обещание. Каждая — причина, по которой оценка легла туда, куда легла, — и причина, по которой она может сдвинуться до заморозки.

Честность молчания

Иногда самый честный результат — вообще никакого числа.

Когда список заявок слишком скуден, чтобы его читать, или у турнира нет пригодной истории, или ситуация игрока попадает в по-настоящему непредсказуемый разрыв, мы скорее сильно расширим диапазон или спрячем цифру, чем напечатаем уверенно выглядящую оценку поверх почти ничего. Пустое место выглядит менее впечатляюще, чем процент жирным шрифтом. Оно же более правдиво, и — вот часть, к которой нам понадобилось время, чтобы начать ей доверять, — скрытый шанс попадания сам по себе является сигналом. Если инструмент не берётся указать диапазон, обычно это значит, что состав по-настоящему изменчив, — а это ровно то, что стоит знать, прежде чем тратить на него перелёты и школьные дни.

Это та же дисциплина, что пронизывает всё на платформе: Decision Score, Explore, аналитику за ними. Оценки помечаются «Est.» с уровнем уверенности. Там, где мы прогнозируем, мы прогнозируем диапазонами. А там, где данные не могут подкрепить ответственный ответ, мы так и говорим, вместо того чтобы его сфабриковать. Результаты ITF и Tennis Europe — это источники данных, из которых мы читаем; они не партнёры, ручающиеся за нашу математику, и наша оценка никогда не подаётся как их официальное слово.

Почему прозрачность — это вся стратегия, а не сноска

На переполненном рынке было бы проще выкатить смелые 72 % и дать им звучать авторитетно. Мы считаем, что всё ровно наоборот. Голое число — это ширпотреб: напечатать его может каждый. По-настоящему трудно — и по-настоящему полезно — показать выкладки: диапазон, уверенность, факторы и честность замолчать, когда данные истончаются.

Так что, отвечая на вопрос, с которого началась эта статья, — попаду ли я на этот турнир? — правдивый ответ таков: никто не может пообещать вам процент, а всякий, кто печатает его как обещание, продаёт уверенность, которую не заслужил. Что честный инструмент может вам дать — это хорошо помеченную оценку, с которой вы вольны спорить: диапазон, пометку о том, насколько мы уверены, и причины за тем и другим. Это не увиливание. В решении, которое стоит настоящих денег и настоящих недель, это более уважительный ответ.

NextPoint находится в раннем доступе, пока мы доводим до ума такие детали. Если вы хотите, чтобы реальный рейтинг и списки заявок вашего ребёнка превращались в оценки, честные в отношении собственной неопределённости, — никогда не в фальшивый процент, — вы можете присоединиться к списку раннего доступа. Мы скорее покажем вам меньше и заслужим доверие, чем покажем больше и ошибёмся.

Об авторе

Sofia Lindqvist — спортивный учёный в NextPoint, где она работает над аналитикой и прогнозированием игроков. Большую часть времени она посвящает не самому гламурному вопросу: когда оценка достаточно честна, чтобы её показать, — и когда правильный ответ в том, чтобы расширить диапазон или не сказать ничего вовсе.