Skyeng: как чужая метрика привела нас к собственной ошибке

Денис Сметнёв — сооснователь Skyeng и маркетингового агентства uForce. Он рассказал, как команда онлайн-школы изменила продукт, чтобы догнать конкурента по метрикам, а в итоге получила неудачный результат. 

В 2021 году мы активно росли и успешно развивали международные направления в Италии и Испании. На этой волне решили привлекать иностранных инвесторов, а для этого — выйти на одну из крупнейших фондовых бирж в мире. Чтобы туда попасть, нужно соблюсти кучу условий: от правильного состава топов до метрик, которые должны быть не хуже, чем у конкурентов.

С последним как раз возникли вопросы, когда ко мне пришёл наш инвестор и сказал: «У конкурента стоимость привлечения клиента — 100 долларов, а у вас по этой метрике 200 долларов. Почему так?» Сразу ответа не нашлось, поэтому стали разбираться.

Мы изучили весь клиентский путь конкурентов: заявка, пробный урок, оплата. Бизнес-процесс почти ничем не отличался от нашего. Единственное, что бросилось в глаза, — длительность занятия. У нас уроки шли по 50 минут, а у конкурента — по 20–30. Логика показалась разумной: чем короче занятие, тем ниже цена и выше конверсия в покупку. Мы решили попробовать.

Выкатили в Италии и Испании уроки по 25 минут сразу для всех пользователей, без А/Б-теста. Не спорю, это было опрометчивое решение, но мы рискнули. Первая неделя после запуска обнадёживала: конверсия из лида в покупку пошла вверх. Мы с командой видели по метрикам, что всё идёт хорошо. Выдохнули, поставили галочку «сделано» и переключились на другие международные запуски Skyeng. Дел было много: мы одновременно выходили на рынок ещё в 10 странах. 

В этой суете прошло три месяца, мы по-прежнему продавали короткие уроки. В один из дней аналитик прислала когортный отчёт, в котором нас ждал большой сюрприз: всплеск конверсии, который мы на старте приняли за успех, был временным. Просто менеджеры по продажам воодушевились новым продуктом и разово сконвертировали старые лиды. Потом конверсия вернулась на прежний уровень, а средний чек упал почти в два раза: уроки стали короче и дешевле, а интенсивность не изменилась — люди как занимались полтора раза в неделю, так и продолжали.

Стало понятно, что три месяца наша юнит-экономика в Италии и Испании была на грани провала. Для меня это был жёсткий момент: одно неверное решение очень дорого нам обошлось. 

Когда эмоции улеглись, мы начали разбираться. Проблема была не в коротких уроках как таковых, а в том, что мы оставили клиентам только один вариант — подешевле и покороче. При этом люди не стали заниматься чаще, но платить начали меньше. Чтобы выровнять ситуацию и повысить средний чек, мы вернули длинные уроки в линейку. 

Позже удалось пообщаться с командой того самого конкурента с ценой привлечения в 100 долларов. Больше всего меня интересовало, как они делают эту магию. Оказалось, что никакого секрета не было — они просто иначе считали. 

Ребята делили маркетинговые затраты на две части. Первая — перформанс-каналы: то, что напрямую приводит клиентов, вроде таргета и контекстной рекламы. Вторая — медийный бюджет: блогеры, охватные кампании. Стоимость привлечения они считали только по первой части. Но если сложить все затраты и разделить на число новых клиентов, выходили те же 200 долларов, что и у нас.

Мы внутри Skyeng давно относили блогеров к перформанс-каналам, а то, что у ребят может быть другой подход, нам даже в голову не приходило. Это был настолько неожиданный поворот, что я реально очень посмеялся про себя. 

Из этой истории я сделал два вывода. Первый: нельзя доверять чужим цифрам без проверки; сначала стоит узнать, как именно считали метрику. Второй: даже если времени совсем мало, нужно обязательно проводить А/Б-тест перед изменением продукта, иначе ошибка может быть болезненной. Советы кажутся базовыми, но такой подход действительно помогает принимать правильные решения. 

Как проводить А/Б-тесты с Яндекс 360. А/Б-тест помогает проверить идеи команды без лишнего риска. Если вы работаете в Яндекс 360, проведите тестирование в Трекере: для этого создайте отдельную задачу для каждой гипотезы и решите, по каким метрикам будете отслеживать эффективность и определять, что делать дальше — раскатывать изменение, дорабатывать или закрывать гипотезу. В сервисе можно следить за статусами экспериментов и сводить результаты на дашбордах.