Что за роль предлагала Тануки
Тануки искала первого Data Scientist. Такой специалист не получает готовый ML-контур: ему приходится уточнять задачи, собирать данные, выбирать инфраструктуру, запускать первые модели и объяснять бизнесу, что получилось.
Кандидат пришёл с исследовательским и коммерческим опытом. Он рассказывал о графовых задачах, OCR, LLM, Python и Go, а также о выводе прототипов в продакшен. Интервью поэтому быстро перешло от резюме к двум большим кейсам: модели оттока и корпоративному RAG-ассистенту.
Как запускать ML с нуля
Вопрос: с чего начать, если у компании ещё нет команды и ML-инфраструктуры?
Правильный ответ: сначала найти решение, которое бизнес примет по прогнозу модели. Затем определить метрику пользы, проверить данные и сделать простой baseline. Вычислительные ресурсы и сложный стек выбираются под доказанную задачу, а не заранее.
На интервью полезно уточнить:
- кто владеет бизнес-метрикой;
- где лежат данные и можно ли им доверять;
- как часто нужен прогноз;
- кто будет внедрять результат в процесс;
- какой бюджет есть на хранение и вычисления.
Важный профессиональный сигнал — внимание к происхождению данных, доступам и качеству разметки. Сильная модель не исправит набор данных, который нельзя законно и стабильно использовать в продукте.
Как решить кейс с оттоком клиентов
Вопрос: как построить модель оттока?
Сначала нужно определить отток и момент прогноза. Например: клиент считается ушедшим, если не совершал целевое действие 60 дней, а модель за две недели до этого оценивает риск. После прогноза должно существовать действие: персональное предложение, звонок или изменение сценария продукта.
Дальше собираем признаки только из информации, доступной на момент прогноза, и делим данные по времени. Baseline может быть логистической регрессией: она быстро показывает, есть ли сигнал. Градиентный бустинг добавляем, если он даёт полезный прирост на отложенном периоде.
Миллион строк сам по себе не означает Big Data. Pandas может справиться, если данные помещаются в память и операции разумно устроены. Решение принимают по профилированию, а не по круглому числу.
Как доказать пользу через эксперимент
Вопрос: модель стала точнее — как понять, что бизнес заработал больше?
Офлайн-метрика проверяет прогноз, но не влияние действия. Для этого целевую аудиторию случайно делят на тест и контроль. Тест получает сценарий удержания, контроль — обычный процесс. Заранее фиксируют основную метрику, длительность и минимальный значимый эффект.
Статистический тест начинается с нулевой гипотезы: различия возникли случайно. Уровень значимости выбирают до просмотра результата. При этом p-value не показывает размер пользы, поэтому вместе с ним нужны доверительный интервал и экономический расчёт: дополнительная маржа минус стоимость контакта и скидки.
С чего начинать корпоративный RAG
Вопрос: как спроектировать ассистента по внутренним документам?
Кандидат правильно начал не с модели, а с пользователей и документов. Мы бы зафиксировали типовые вопросы, права доступа и набор эталонных ответов. Затем подготовили документы, разбили их на смысловые части, построили индекс и собрали простой retrieval.
В руководстве Microsoft по RAG поиск также рассматривается как отдельный измеримый этап. Это важно: если система нашла неверный фрагмент, улучшение промпта не решит проблему.
| Этап | Что проверяем |
|---|---|
| Retrieval | Нашёлся ли нужный документ в top-k |
| Реранжирование | Поднялся ли лучший фрагмент выше |
| Генерация | Ответ соответствует контексту и содержит ссылку |
| Продукт | Пользователь решил задачу быстрее и без эскалации |
Зачем нужны гибридный поиск, реранкер и чанкинг
Векторный поиск находит близкий смысл, а BM25 хорошо держит точные названия, коды и редкие термины. Гибридная выдача соединяет оба списка. Реранкер получает небольшой набор кандидатов и точнее расставляет их перед передачей в LLM.
Чанкинг нельзя сводить к одинаковому числу символов. Инструкции лучше делить по заголовкам и шагам, таблицы хранить вместе с пояснением, а метаданные — название документа, раздел и дату — передавать в индекс. Качество каждого решения проверяют на одном наборе вопросов, меняя по одному компоненту.
Получил ли кандидат оффер
Фактическое решение работодателя в записи не раскрыто. По нашей оценке, вероятность положительного результата высокая. Кандидат уверенно обсуждал путь от R&D до продакшена, задавал вопросы про ресурсы и дал сильную архитектуру RAG.
Слабое место — местами слишком быстрый переход к техническому решению. Ответ стал бы ещё сильнее, если каждый кейс начинался с бизнес-действия, схемы данных и критерия успеха.
При подготовке мы бы отдельно потренировали короткое вступление к кейсу: «сначала уточню решение бизнеса и доступные данные». Эта фраза задаёт верный порядок дальнейшего рассуждения.
- Начинаю кейс с решения, которое примет бизнес.
- Отделяю офлайн-качество модели от эффекта эксперимента.
- Не выбираю инфраструктуру до оценки объёма и нагрузки.
- Могу объяснить retrieval, реранжирование и генерацию отдельно.
- Завершаю ответ ограничением и способом проверки.
Источники
частые вопросы
Короткие ответы
С чего начинать ML-проект в новой компании?
С бизнес-решения и критерия успеха. Затем проверяют доступность данных, стоимость ошибки, инфраструктуру и только после этого выбирают модель.
Нужна ли отдельная векторная база для первого RAG-прототипа?
Не всегда. Для прототипа можно использовать уже доступное хранилище с векторным поиском, если оно выдерживает объём и задержку. Выбор нужно подтвердить измерениями.
Как готовиться к системным вопросам про RAG?
Умейте пройти всю цепочку: документы, чанкинг, индекс, retrieval, реранжирование, генерация, цитаты и оценка на контрольном наборе.
