Собеседование продуктового аналитика в Т-Банке: метрики и A/B-тесты

На собеседовании продуктового аналитика в Т-Банке важно связать бизнес, поведение пользователей и статистику. Вопросы этого разбора построены вокруг сервиса доставки: откуда берутся деньги, какие показатели выбрать и как проверить новую функцию. Мы собрали ответы, с которыми можно защищать решение, а не только называть знакомые термины.

Как объяснить бизнес и стадию его развития?

Как работает этот бизнес, из чего состоит и как зарабатывает?

Для кейса доставки разложите бизнес на клиентов, рестораны, курьеров и платформу. Затем покажите денежные потоки: комиссии партнёров, клиентские сборы, оплата доставки; отдельно — выплаты исполнителям, скидки, поддержку и привлечение покупателей. Условия и суммы уточняйте: фиксированный процент комиссии не задан в вопросе.

Полезный учебный расчёт — сколько остаётся от одного заказа после связанных с ним расходов. Если заказы растут вместе с убытком на каждом заказе, одного графика продаж недостаточно для положительного решения.

Какие этапы развития есть у компании?

Как рабочую модель можно назвать выход на рынок, рост, зрелость и спад. Следом объясните, как изменится задача аналитика: проверить спрос, найти работающие способы роста, улучшить экономику или разобраться с потерей ценности продукта. Стадии помогают рассуждать, но не заменяют диагностику конкретного бизнеса.

Что сейчас происходит с Яндекс Едой?

Сильный ответ начинается с допущения: «Если рост замедлился, проверю удержание, частоту заказов и стоимость привлечения». Для вывода о зрелости понадобятся динамика бизнеса, рынок и различия между регионами. Популярность сервиса сама по себе ничего не доказывает; в учебном кейсе не стоит выдавать предположение за актуальное состояние компании.

Какие метрики выбрать и как связать их с LTV?

Какие ключевые метрики важны для нас?

При цели повысить прибыль начните с доходов и расходов, затем выделите управляемые показатели: активных покупателей, частоту заказов, средний чек и вклад заказа в финансовый результат. Добавьте ограничения: отмены, задержки и жалобы.

Мы бы отдельно предложили продуктовый ориентир — например, успешно выполненные повторные заказы. Он показывает полученную клиентом пользу. Прибыль остаётся финансовой целью, но её рост требует объяснения: продажи увеличились или сервис просто сократил поддержку?

Что такое LTV и как он связан с другими метриками?

LTV нужно сначала определить: считаем выручку или вклад после расходов, за какой период и по какой группе клиентов. Для оценки экономики удобнее маржинальный вариант. Его можно представить как сумму ожидаемых вкладов клиента по будущим периодам.

Удержание влияет на вероятность следующих покупок, частота — на их количество. Но скидки тоже стоят денег: рост повторных заказов не гарантирует рост LTV. Условный клиент с десятью покупками по 20 ₽ вклада приносит меньше, чем клиент с пятью покупками по 100 ₽. После этого сравниваем ценность с затратами на привлечение.

Как сделать дашборд для Яндекс Еды?

Начните с решения, которое должен принять руководитель. Первый экран показывает результат и отклонение от ориентира, следующие уровни помогают найти причину. Для кейса доставки мы предложили бы такую структуру:

Проверьте расчёты вручную на небольшой выборке и согласуйте определения показателей. Начальные разрезы выбирайте по задаче: регион, новый или возвращающийся клиент, канал привлечения. Настройте уведомления о существенных отклонениях и укажите время обновления данных.

Как повысить прибыль и выбрать первую гипотезу?

Как повысить чистую прибыль?

Ищите измеримую потерю. Например, если повторному покупателю трудно собрать привычную корзину, проверьте кнопку повторения заказа. Если часто отменяют оплаченные заказы, сначала выясните причину отмен. Идея должна содержать механизм: какое поведение изменится, почему это улучшит экономику и какой показатель защитит качество.

Как будет строиться приоритизация?

Можно использовать RICE: охват × влияние × уверенность / трудозатраты. Охват оценивайте за одинаковый период, усилия — в одинаковых единицах. Уверенность снижайте, если эффект пока основан только на мнении команды. Авторы метода отдельно предупреждают: зависимости между задачами могут менять порядок даже при меньшем балле. Методика Intercom.

После расчёта полезно спросить себя: сохранится ли победитель, если ожидаемый эффект окажется вдвое меньше? Так обнаруживаются решения, целиком зависящие от оптимистичной оценки.

Как протестировать новую систему?

Сначала определите ожидаемый эффект и единицу случайного распределения между вариантами. Для пользовательской функции это может быть пользователь; его повторные действия нужно учитывать вместе. Наш порядок подготовки:

1. Записать основную метрику и допустимые ухудшения других показателей.
2. Определить минимальное полезное изменение, размер выборки и правила остановки.
3. Проверить разделение групп и сбор событий.
4. Выбрать метод анализа под метрику и устройство данных.

Для доли покупателей возможен тест пропорций при выполнении его предпосылок. Для средней денежной метрики рассматривают сравнение средних, учитывая зависимость наблюдений и сильные выбросы.

Типичная ошибка. При ненормальных данных автоматически заменить сравнение средних критерием Манна — Уитни.

Как лучше. Сначала проверить, отвечает ли новый критерий на бизнес-вопрос. Манн — Уитни проверяет гипотезу о распределениях двух независимых выборок; это не универсальная проверка равенства средних. Документация SciPy.

Как понимать ошибки теста и различия между группами?

Что такое ошибка первого и второго рода?

Ошибка первого рода — обнаружить эффект, которого нет. Ошибка второго рода — не обнаружить существующий эффект. Для новой функции это риск потратить ресурсы на бесполезное изменение или пропустить полезное. Вероятность первого риска обозначают α, второго — β; мощность теста равна 1 − β. Справочник NIST.

Значения в тестовой и контрольной выборках отличаются — что делать?

Оцените величину изменения и неопределённость. Разница между 10% и 10,1% ещё не говорит, достаточно ли данных и окупится ли внедрение. Примените заранее выбранное правило анализа, рассмотрите доверительный интервал и защитные метрики.

Если p-value выше порога, оснований отвергнуть нулевую гипотезу недостаточно. Это не доказательство нулевого эффекта. При широком интервале правильный вывод может звучать так: «Тест пока не различает полезный рост и отсутствие изменения». NIST о проверке гипотез.

Как проверить нормальность распределения конверсии?

Сначала уточните, какую величину проверяем. Признак «пользователь сделал заказ» принимает значения 0 и 1. Это не нормальное распределение. При независимых испытаниях с одинаковой вероятностью покупки их сумма имеет биномиальное распределение. Определение NIST.

Приближённая нормальность оценки доли при достаточно большой выборке — другой вопрос. Поэтому применять Шапиро — Уилка к ряду нулей и единиц ради выбора теста конверсии бессмысленно.

Для непрерывной величины полезен Q–Q-график: сравнение квантилей данных с квантилями выбранного распределения. Ниже показан учебный контрпример: точки заметно изгибаются, поэтому нормальная модель плохо описывает форму исходных данных. Это иллюстрация метода, не данные доставки.

Систематический изгиб помогает заметить отклонение от нормальной модели. Источник: Skbkekas, Wikimedia Commons, CC BY-SA 3.0. Без изменений.

Что такое ratio-метрики и в чём сложность?

Это метрики-отношения: например, CTR равен числу кликов, делённому на число показов. У одного пользователя могут быть десятки показов, у другого — один. Поэтому отношение общих сумм отличается от среднего индивидуальных долей.

Проверим различие на двух вымышленных пользователях:

# Каждая позиция соответствует одному пользователю.
clicks = [1, 9]
impressions = [1, 90]

# Общий CTR взвешивает пользователей по числу показов.
overall_ctr = sum(clicks) / sum(impressions)
mean_user_ctr = sum(c / n for c, n in zip(clicks, impressions)) / len(clicks)
print(f"Общий CTR: {overall_ctr:.2%}")
print(f"Среднее пользовательских CTR: {mean_user_ctr:.2%}")

Получим 10,99% и 55%. Это разные показатели, хотя исходные события одинаковы. Подмена одного другим меняет вопрос, на который отвечает эксперимент.

Для отношения сумм нужно оценить совместную изменчивость числителя и знаменателя на уровне единицы рандомизации. Здесь применяют дельта-метод или линеаризацию — приближение отношения линейной величиной. Нельзя просто объявить любой t-тест ошибочным: важно, к какой величине он применяется и соблюдены ли предпосылки. Исследование Deng, Knoblich и Lu.

Итог: получил ли кандидат оффер?

Во вступлении исходного материала заявлен оффер на 208 000 ₽. Это сообщённый автором результат. Однако основную часть занимают подготовленные ответы на вопросы, а не непрерывная запись самостоятельных ответов кандидата. Поэтому данных недостаточно для независимой оценки его шансов.

Мы видим набор тем, но не можем проверить, как кандидат выбрал метрики, защитил дизайн теста и отреагировал на уточнение о распределении конверсии. Приписывать ему все удачные объяснения или спорные упрощения из разбора было бы неверно.

Для своей подготовки попробуйте ответить на каждый вопрос без подсказки и объяснить одно ограничение выбранного метода. Если формулы знакомы, а связать их с продуктом пока трудно, на аудите готовности к собеседованию можно разобрать ответы и составить план работы над пробелами.

Источники

• Исходный разбор вопросов собеседования в Т-Банк.
• Intercom: RICE для приоритизации.
• NIST: статистические тесты и ошибки.
• NIST: биномиальное распределение.
• SciPy: критерий Манна — Уитни.
• Deng, Knoblich, Lu: дельта-метод в анализе метрик.