Это техническое собеседование Data Scientist уровня примерно Middle+/Senior. Название компании не подтверждено, поэтому мы его не указываем. Вопросы идут от устройства ансамблей к метрикам и заканчиваются прикладным кейсом о прогнозе нагрузки на контактный центр.
Ниже мы разбираем вопросы в том порядке, в котором их полезно готовить: сначала механизм модели, затем измерение качества и только после этого решение для бизнеса.
Как работает градиентный бустинг
Короткий ответ: бустинг последовательно добавляет слабые модели, и каждая следующая исправляет ошибки текущего ансамбля.
Для регрессии первое приближение может быть постоянным прогнозом. Затем мы считаем остатки — разницу между правильными ответами и прогнозом — и обучаем новое дерево приближать эти остатки. Его ответ добавляется с коэффициентом learning rate. Маленький шаг обычно требует больше деревьев, зато делает обучение устойчивее.
Гиперпараметры подбирают не по обучающей выборке, а по валидации или кросс-валидации. Важно назвать не только способ перебора, но и параметры: глубину деревьев, learning rate, число итераций, регуляризацию, долю объектов и признаков.
Если кандидат говорит «новое дерево исправляет предыдущее», ответ стоит уточнить: исправляется весь уже собранный ансамбль, а не одно последнее дерево.
Чем отличаются XGBoost, LightGBM и CatBoost
Короткий ответ: это реализации градиентного бустинга с разными способами построения деревьев, оптимизациями и работой с категориальными признаками.
XGBoost известен регуляризацией и надёжной базовой реализацией. LightGBM использует гистограммный поиск разбиений и рост дерева по листьям, что помогает на больших данных. CatBoost умеет обрабатывать категориальные признаки с защитой от утечки целевой переменной.
Гистограммный подход группирует близкие значения признака в корзины. Алгоритм проверяет меньше возможных порогов, поэтому быстрее строит дерево и экономит память. Цена — приближение: точные значения заменяются корзинами.
На интервью не нужно объявлять одну библиотеку лучшей. Лучше спросить о размере данных, количестве категорий, ограничении по времени и требованиях к качеству.
Чем случайный лес отличается от бустинга
Короткий ответ: случайный лес обучает деревья независимо и усредняет их ответы, а бустинг строит деревья последовательно.
Отдельное глубокое дерево имеет низкое смещение, но высокий разброс: небольшое изменение данных может сильно изменить структуру. Лес уменьшает разброс за счёт разных подвыборок объектов и признаков.
В бустинге деревья обычно неглубокие. Ансамбль шаг за шагом уменьшает систематическую ошибку. Поэтому удаление первого дерева меняет базу, относительно которой строилась вся последующая последовательность. Это не то же самое, что убрать одно независимое дерево из леса.
Хороший ответ связывает устройство ансамбля с bias–variance trade-off, но объясняет его простыми словами: что модель недоучивает и насколько она чувствительна к выборке.
Как выбирать метрику классификации
Короткий ответ: выбор зависит от того, какая ошибка дороже для задачи.
Precision отвечает: какая доля объектов, названных положительными, действительно положительна. Recall: какую долю всех положительных объектов модель нашла. F1 объединяет обе метрики гармоническим средним.
В антифроде пропустить мошенническую операцию может быть дороже лишней проверки, поэтому важен recall при приемлемом числе ложных тревог. В дорогой ручной проверке, наоборот, может понадобиться высокий precision.
ROC-AUC оценивает ранжирование на всех порогах, но при сильном дисбалансе полезно смотреть PR-AUC. Финальный порог всё равно выбирают по бизнес-стоимости ошибок и доступной мощности процесса, который обработает срабатывания.
Одна модель сохраняет те же кривые качества, но другой порог меняет рабочую точку и итог по бизнес-метрике. Источник: scikit-learn.
Типичная ошибка. Назвать любимую метрику до того, как определены положительный класс, цена ошибок и действие после прогноза. Формально корректная метрика может улучшаться, пока продуктовый процесс становится хуже.
Как лучше. Сначала опишите решение, которое запускает прогноз, затем две ошибки и их стоимость. После этого выберите метрику для сравнения моделей и отдельно правило выбора рабочего порога.
Чем MAE отличается от MSE и Huber loss
Короткий ответ: MAE одинаково учитывает каждую абсолютную ошибку, MSE особенно сильно наказывает большие промахи, а Huber ведёт себя как MSE рядом с нулём и как MAE на выбросах.
MAE измеряется в тех же единицах, что и целевая переменная, поэтому её легче объяснить бизнесу. MSE удобна для оптимизации, но квадрат делает крупные ошибки доминирующими. RMSE возвращает результат в исходные единицы.
Huber loss полезна, когда крупные ошибки важны, но единичные выбросы не должны полностью управлять обучением. Коэффициент перехода между режимами выбирают по данным.
Называть метрики недостаточно. На интервью стоит привести ситуацию, где крупный промах действительно в несколько раз дороже небольшого.
Может ли модель дать отрицательный прогноз для положительной цели
Короткий ответ: да, если выход модели ничем не ограничен.
Линейная регрессия складывает признаки с весами и может получить любое вещественное число. Некоторые бустинги с обычной квадратичной функцией потерь тоже не обязаны сохранять положительность ответа.
Исправление зависит от природы цели. Можно прогнозировать логарифм положительной величины и выполнить обратное преобразование, выбрать распределение и функцию связи, которые учитывают положительность, или обрезать результат после прогноза. Простое обрезание удобно, но меняет свойства ошибки и не всегда решает причину.
Как решить кейс о нагрузке на контактный центр
Короткий ответ: сначала определяем, какое решение изменит прогноз, затем горизонт, данные, функцию потерь и проверку эффекта.
Если нужно составлять смены, важно знать нагрузку заранее и по временным интервалам. Целью может быть число обращений на каждые 15 минут. Признаки: календарь, праздники, акции, история обращений, доступность сервиса и внешние события.
Для временного ряда нельзя случайно перемешивать будущее с прошлым. Валидацию делают по времени: обучаются на прошлом и проверяют на следующем периоде. Базовая модель — повтор значения прошлого дня или недели. Сложная модель должна заметно выигрывать у неё.
Бизнес-результат измеряется не только MAE. Важно проверить время ожидания клиента, долю пропущенных обращений, переработки сотрудников и стоимость избыточной смены.
Получил ли кандидат оффер
Короткий ответ: да, кандидат получил оффер.
Результат закономерен: кандидат уверенно объяснял устройство моделей, не терялся в уточнениях по метрикам и смог перевести прогноз в операционное решение. Небольшие неточности в терминологии не разрушили общую картину, потому что ход рассуждения оставался сильным.
Такой формат ответа можно отработать в тренажёре собеседований ЮНИКОД: сначала дать короткий тезис, затем объяснить механизм, привести пример и связать его с задачей бизнеса.
Источники
частые вопросы
Короткие ответы
Какие метрики нужно знать Data Scientist перед собеседованием?
Минимальный набор для классификации — precision, recall, F1, ROC-AUC и PR-AUC; для регрессии — MAE, MSE, RMSE и коэффициент детерминации. Важно не только назвать формулу, но и объяснить, для какой ошибки подходит метрика.
Чем градиентный бустинг отличается от случайного леса?
В случайном лесе деревья строятся независимо на разных подвыборках и признаках, а затем их ответы объединяются. В бустинге новые слабые модели последовательно уменьшают ошибку уже собранного ансамбля.
Как решать бизнес-кейс на собеседовании Data Scientist?
Уточните цель и доступное действие, определите объект прогноза и момент принятия решения, выберите офлайн-метрику и способ онлайн-проверки, затем обсудите данные, ограничения и риски.
