ML-собеседование: как отвечать на теорию и решать продуктовый кейс

ML-собеседование проверяет две разные способности. Сначала кандидат объясняет теорию: как устроены модели, статистические тесты и метрики. Затем решает открытую продуктовую задачу, где нет единственного правильного ответа. Хорошая подготовка должна тренировать обе части.

Мы в ЮНИКОД учим строить ответы от смысла к деталям. Сначала объясняем идею простыми словами, потом показываем механизм и только затем переходим к формулам. В кейсе двигаемся от цели продукта к базовому решению, данным, модели и проверке результата.

Как сравнить случайный лес и градиентный бустинг

Оба метода объединяют много деревьев, но делают это по-разному. Случайный лес строит деревья независимо на разных подвыборках объектов и признаков, а затем усредняет ответы или использует голосование. Разнообразие деревьев помогает снизить разброс модели.

Градиентный бустинг строит композицию последовательно. Каждое следующее дерево добавляет поправку, которая уменьшает выбранную функцию потерь. Поэтому в ответе недостаточно сказать, что «бустинг исправляет ошибки». Мы уточняем: ошибка выражена через градиент функции потерь по текущим предсказаниям, а новое дерево приближает направление улучшения.

Документация scikit-learn называет эти методы ансамблями: несколько базовых оценщиков объединяются ради более устойчивого качества. На интервью мы дополняем определение примером. Для табличной классификации можно обучить обе модели на одинаковом разбиении, подобрать параметры на кросс-валидации и сравнить их по метрике, которая соответствует цене ошибок.

Как не запутаться в p-value

p-value часто объясняют неверно как «вероятность, что нулевая гипотеза верна». Это не так. Мы предполагаем, что нулевая гипотеза верна, и оцениваем, насколько необычны полученные данные при этом предположении.

Уровень значимости, например 0,05, задают до анализа. Он ограничивает вероятность ошибки первого рода в рамках выбранной процедуры: отвергнуть нулевую гипотезу, когда она верна. Если p-value ниже порога, результат считают статистически значимым по этому правилу. Но это ещё не говорит, что эффект велик и полезен для бизнеса.

Сильный ответ включает три оговорки:

• статистическая значимость не равна размеру эффекта;
• результат зависит от корректности эксперимента и выбранного теста;
• решение о запуске функции учитывает продуктовую пользу и стоимость изменения.

Продуктовый кейс начинаем не с модели

Представим сервис доставки, который хочет рекомендовать товары в корзине. Начать с выбора нейросети — значит пропустить половину задачи. Мы сначала задаём вопросы:

• Какой результат нужен: больше товаров, выше выручка, удобнее сбор корзины или повторные покупки?
• Где показаны рекомендации и сколько позиций помещается на экране?
• Что известно о пользователе, текущей корзине, наличии и времени доставки?
• Какие товары нельзя рекомендовать вместе или показывать при отсутствии на складе?
• Как устроен эксперимент и сколько времени потребуется для оценки?

После этого строим baseline — простое решение для сравнения. Например, популярные доступные товары, исключая уже добавленные. Следующая версия может учитывать пары товаров, историю пользователя, время суток и контекст корзины. Такой порядок даёт работающий ориентир и помогает понять, принесла ли сложная модель реальное улучшение.

Разделяем качество модели и результат продукта

Офлайн-проверка отвечает на вопрос, насколько хорошо модель восстанавливает известное поведение на исторических данных. Для ранжирования могут использоваться Precision@K, Recall@K, MAP@K или NDCG@K. Выбор зависит от того, что важнее: точность первых рекомендаций, полнота или порядок позиций.

Например, Precision@K показывает, какая доля первых рекомендаций оказалась полезной. Минимальную версию метрики можно написать без библиотек:

def precision_at_k(
    recommended: list[str],
    relevant: set[str],
    k: int,
) -> float:
    # Метрика не имеет смысла, если мы не берём ни одной рекомендации.
    if k <= 0:
        raise ValueError("k должно быть больше нуля")

    # Оставляем первые k рекомендаций — именно их увидит пользователь.
    top_k = recommended[:k]

    # Считаем товары, которые одновременно есть в рекомендациях и в relevant.
    hits = sum(item in relevant for item in top_k)
    return hits / k


# recommended хранит порядок предложений модели.
recommended = ["кофе", "молоко", "чай", "сыр", "хлеб"]

# relevant — товары, которые пользователь действительно выбрал.
relevant = {"кофе", "чай", "хлеб"}

# Три совпадения из пяти дадут результат 60%.
print(f"Precision@5: {precision_at_k(recommended, relevant, 5):.0%}")

В примере три из пяти рекомендаций релевантны, поэтому Precision@5 равен 60%. В рабочей задаче метрику считают по многим пользователям и сравнивают с baseline на одном и том же наборе данных.

Онлайн-эксперимент отвечает на другой вопрос: изменилось ли поведение людей. Для блока в корзине можно смотреть долю кликов, добавление рекомендованного товара, средний размер корзины и итоговую покупку. При этом нужны защитные метрики: отмены, время оформления и недоступные товары. Иначе локальный рост кликов может ухудшить весь сценарий.

Как рассуждать об отборе кандидатов

Кейс может сменить предметную область и предложить ранжировать кандидатов на вакансию. Техническая схема похожа, но цена ошибок другая. Мы уточняем, какое действие считается целевым: приглашение, прохождение этапа или успешная работа после найма. Эти события происходят в разное время и несут разные смещения.

Исторические решения рекрутеров нельзя автоматически считать идеальной разметкой. Модель повторит закономерности данных, включая старые ошибки процесса. Поэтому на интервью важно обсудить качество целевой переменной, допустимые признаки, ручную проверку и способ контролировать результат после запуска.

Как исправить неточный ответ прямо на встрече

Ошибка в определении не обязательно заканчивает интервью. Гораздо важнее реакция. Мы используем короткую формулу: «Я смешал два понятия. Исправляю определение, затем заново проверяю вывод». После этого проговариваем новую цепочку без длинных оправданий.

Такой навык развивается только в разговорной практике. Нужно не читать готовые ответы, а объяснять тему вслух, получать уточняющие вопросы и возвращаться к слабым местам. На тренажёре собеседований ЮНИКОД мы собираем вопросы по профессии, помогаем держать структуру и превращаем каждый разбор в конкретный план подготовки.

Источники

• Ансамбли: случайные леса и градиентный бустинг — scikit-learn
• Кросс-валидация — scikit-learn
• Метрики и оценка моделей — scikit-learn
• Тренажёр собеседований ЮНИКОД