Аналитика, интуиция и здравый смысл

Поиск решений в рабочих процессах

Как принимать бизнес-решения?

Короткий ответ: на основе данных

Важна не только ваша задача, но и её место в общей системе

Когда видишь взаимосвязи — между отделами, задачами,
результатами — ты действуешь осознанно. Это помогает
находить системные решения, которые работают вдолгую

Мы не действуем на эмоциях и стараемся видеть всю картину

Мы совмещаем расчёт и чутьё, чтобы находить правильные решения

Мы задаём себе и коллегам вопросы и ищем более простые варианты

Процесс принятия решений на основе данных

Сбор данных

Определяем ключевые метрики и используем
несколько надёжных источников

Анализ данных

Критически анализируем данные и формируем гипотезы

Развёртывание решения

Постепенно внедряем решения и мониторим долгосрочные эффекты

Тестирование гипотез

Выбираем подходящий метод тестирования и проверяем на небольшой выборке 

Мы проводили A/B-тест двух платёжных провайдеров: Провайдера 1 и Провайдера 2.

Нашей целью было выбрать решение, которое принесёт и сэкономит больше всего денег.

Крупные инфраструктурные изменения мы делаем осознанно — через гипотезу, проверку, анализ — и только после этого внедряем. Это особенно важно в трансформации процессов, которые могут негативно повлиять на ключевые метрики и тем более на доход.

Разделили трафик равномерно между двумя провайдерами

Отслеживали % успешных платежей, ошибки на этапе оплаты, технические сбои, а также конверсию в оплату

Снизить количество проблем при оплате

Повысить конверсию в успешную оплату

Показали, что у Провайдера 2 выше конверсия и уровень стабильности, а количество ошибок — ниже, чем у Провайдера 1. 

Основываясь на этих данных, мы приняли решение полностью перейти на Провайдера 2. Это помогло нам:

Принятие решения: опыт Умскул

Избыточные данные

Иногда для принятия решения достаточно 20–30% основных данных, но лицо, принимающее решение, ждёт
пока соберут все. В результате принятие решения задерживается, а бизнес теряет потенциальный профит. 

Маркетологи готовят отчёт по 15 метрикам перед сменой главного баннера на сайте к Новому году, хотя конверсии с текущего
баннера падают уже третью неделю. Пока команда ждёт полную картину, упущена прибыль от праздничного ажиотажа.

Команда хочет повысить метрику Awake — процент учеников, которые возвращаются в обучение после перерыва. Возникает гипотеза: напоминания в мессенджерах помогут вернуть часть неактивных учеников. Команда может протестировать
гипотезу на учениках, пропустивших 7+ дней после окончания продлений. Но решает дождаться полной выгрузки данных,
включая тех, чьё поведение сильно отличается: пропущено более 3 месяцев. Пока идёт сбор, теряется момент: сезон активности
уходит, ученики «остывают», актуальность гипотезы снижается. В итоге ценная гипотеза не проверяется быстро, а метрика Awake
остаётся на прежнем уровне.

Что мешает принять правильное решение

Мы не всегда можем выполнить все этапы процесса принятия решения. А иногда строгое следование алгоритму и полное доверие результатам тестов
могут навредить. Вот типичные ситуации из бизнеса:

Плохие гипотезы

Порой в тест выдвигаются две неработающие гипотезы, и принятие любой из них ведёт к провалу.

A/B-тестирование двух баннеров для возвращения неактивных пользователей, но оба варианта опираются
на устаревшие триггеры мотивации (скидки), а не на актуальные инсайты из исследований (например, страх отстать от одноклассников).

Слепое доверие цифрам вопреки интуиции

Интуиция — это результат объединения ваших знаний, жизненного и профессионального опыта.
Иногда вы можете предугадать, что что-то сработает. Цифры будут противоречить вам, а интуиция
окажется права. В этих случаях важно ещё раз всё проанализировать и копнуть глубже

Плохой эксперимент

Если тестирование гипотезы проведено на неправильной выборке или с некорректными параметрами, то результат будет ошибочным. 

Тестируют эффективность новой домашки среди самых активных учеников. Получают рост выполнения на 15%,
но при масштабировании на всех процент выполнения снижается, так как основная масса не готова к такой нагрузке.

Команда запускает тестирование новой воронки прогрева в августе. Это период, когда интерес к обучению традиционно высок:
родители активно ищут курсы, ученики начинают подготовку. Получают хорошие результаты — высокую конверсию
в покупку — и внедряют новую воронку как основную. Однако уже в сентябре и октябре конверсия падает.
Причина не в самой воронке, а в сезонности: августовские показатели были аномально высокими. 

Сезонность или внешние факторы: пандемия, экономический кризис

Игнорирование качественных факторов: мнения клиентов, рыночных трендов

Выводы без статистической значимости: «‎Разница 2%, значит, гипотеза верна»

Тестирование нескольких гипотез одновременно без должного контроля

Тестирование незначительных изменений вместо стратегических решений

Бесконечные A/B-тестирования кнопок и заголовков отвлекают от более важных вопросов: новых рынков, продуктов,
бизнес-модели. Это приводит к «параличу анализа»: компания тестирует мелочи, но упускает большие возможности.

Команда тратит ресурсы на A/B-тестирования формулировок CTA, игнорируя то, что 60% лидов «отваливаются»
до первого касания менеджера. Проблема в продукте и коммуникации, а не в кнопке.

Чрезмерная оптимизация метрик без учёта долгосрочных последствий

A/B-тесты часто фокусируются на краткосрочных KPI (клики, конверсии), но игнорируют долгосрочные эффекты. 

Команда повышает конверсию в покупку за счёт агрессивных акций: везде таймеры, красные кнопки,
скидки с ограничением по времени. На коротком отрезке виден рост продаж — кажется, что гипотеза
сработала. Но уже через месяц открываемость писем и вовлечённость в воронке начинают падать:
аудитория устаёт от постоянного давления. В итоге мы теряем тех, кто мог бы принести больший доход
в долгосрочной перспективе.

В 2023 году мы запустили нейросеть «Умка» на первую линию поддержки, чтобы снизить нагрузку
на операторов и ускорить ответы. В первые дни всё выглядело позитивно: количество обращений
к операторам снизилось, среднее время ответа упало. Но никто не отслеживал, насколько эффективно
бот решает запросы. Оказалось, что в ряде случаев Умка просто писала: «Привет! Это бот Умка! Пока!» —
и ничего больше. Ученик не получал помощи, закрывал чат или обращался повторно. Уровень CSAT
начал снижаться, а реальные проблемы учеников — накапливаться.

Решение выглядело удачным по цифрам (меньше обращений, быстрее ответы), но, по сути, ухудшило
клиентский опыт. Мы не заложили в систему этап проверки качества и сбора обратной связи.

Хорошая новость: мы быстро это заметили и уже через три дня отключили Умку для доработки.
Сейчас Умка действительно помогает ученикам и держит наш CSAT на уровне 9,8!

Игнорирование результатов внедрения

Порой мы внедряем изменение и не мониторим, всё ли идёт хорошо, достигаем ли мы результатов в реальности.

Что такое здоровое недоверие?

Критический подход к информации, при котором данные,
выводы или решения всегда проверяют на достоверность,
логику и возможные искажения.

Это не паранойя, а профессиональная привычка, которая помогает избегать ошибок, манипуляций
и ложных выводов

И мы должны эту привычку
в себе воспитывать:

Задавайте вопросы

Почему это может быть неправдой и кто заинтересован
в таком выводе?

Ищите слабые места

Можно ли опровергнуть
эту информацию? Есть
ли в ней слабые места?

Тестируйте новые идеи

Окружайте себя скептиками: найдите коллег, которые любят «‎ломать» идеи, — они помогут увидеть «‎слепые» зоны

Изучайте свои ошибки

Случалось ли вам соглашаться с ошибочной информацией? Почему вы согласились?

Цель — не отвергать всё подряд, а принимать более обоснованные решения. Сомневайтесь так, чтобы это вело к правильным действиям, а не к страху. 

Лучшая позиция звучит примерно так: «Я открыт для информации, но всегда проверяю её на достоверность». 

Дмитрий Данилов

Основатель онлайн-школы «Умскул»

Содержание майндсета

Читайте по порядку и возвращайтесь к отдельным главам, когда нужно