Job description
Мы ищем руководителя направления обучения больших языковых моделей, который будет отвечать за развитие качества моделей в доменной области через системное управление обучением, данными и оценкой.
Роль предполагает работу на стыке исследований, инженерии и продуктовых задач с фокусом на практическое применение моделей в бизнесе.
1. Развитие качества моделей
- анализ современных методов обучения LLM (SFT, RLHF/DPO, synthetic data, дистилляция)
- формирование стратегии обучения моделей под бизнес-задачи
- определение необходимых навыков модели (skills decomposition)
2. Работа с данными
- проектирование и развитие пайплайна датасетов:
- сбор, очистка, разметка, валидация
- создание обучающих и тестовых выборок
- разработка синтетических датасетов
3. Бенчмарки и оценка
- разработка и поддержка системы оценки качества моделей
- создание бенчмарков (включая domain-specific)
- проведение регулярного тестирования и сравнительного анализа моделей
- контроль регресса
4. Управление командой
- руководство командой разметки (до 40 человек) и подготовки данных (4 человека)
- постановка задач, контроль качества разметки
- разработка методологии разметки и инструкций
- работа с инструментами разметки (например, TagMe)
5. Взаимодействие с рисками и compliance
- согласование подходов к обучению с управлением модельных рисков
- контроль аспектов: галлюцинации, bias, соответствие нормативным требованиям
- обеспечение прозрачности и воспроизводимости обучения
6. Интеграция с продуктом
- работа с продуктовыми командами (LLM-агенты, RAG-системы)
- приоритизация задач обучения на основе бизнес-метрик
- участие в запуске моделей в прод
7. Экономика и эффективность
-
оценка эффективности обучения (качество vs стоимость)
-
выбор оптимальных стратегий: дообучение vs архитектурные изменения
-
оптимизация использования вычислительных ресурсов
-
опыт работы с LLM / NLP от 3–5 лет
-
практический опыт обучения моделей (SFT, RLHF/DPO или аналоги)
-
опыт построения датасетов и evaluation pipelines
-
понимание архитектуры LLM и принципов их обучения
-
опыт управления командой
-
уверенное владение Python и ML-стеком (PyTorch / HuggingFace)
Будет плюсом:
-
опыт работы с доменными моделями (например, legal, finance)
-
опыт построения пайплайнов генерации синтетических данных
-
опыт внедрения моделей в прод
-
знание подходов к снижению галлюцинаций.
-
комфортный современный офис на ул. Вавилова д. 19
-
формат работы - фул офис
-
ежегодный пересмотр зарплаты, годовая премия
-
корпоративный спортзал и зоны отдыха
-
более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
-
расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
-
гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
-
бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
-
вознаграждение за рекомендацию друзей в команду Сбера.