Job description
Наша команда занимается независимой оценкой, валидацией и контролем качества AI-моделей и GenAI-решений Банка — от классических ML и NLP до LLM, диффузионных моделей, мультимодальных систем и моделей реального мира (робототехника, беспилотный транспорт и смежные направления).
Мы не просто «проверяем метрики», а:
глубоко разбираемся в подходах команд-разработчиков и бизнес процессах в которых участвуют модели, челленджим архитектурные и методологические решения,предлагаем улучшения,разрабатываем собственные альтернативные модели, проверки и бенчмарки.
Отдельный фокус — R&D-деятельность:
- создание новых методологий оценки качества,
- участие в разработке и развитии переводных российских бенчмарков (MERA, POLLUX и др.),
- адаптация передовых мировых бенчмарков под специфику банковских и индустриальных кейсов.
Сейчас у нас открыта вакансия на роль LLM / GenAI Validation DS — фокус на LLM, мультимодальных и генеративных моделях, а также автоматизации их проверки.
- глубоко погружаться в валидацию как классических так и LLM, диффузионных и мультимодальных моделей
- проектировать пайплайны автоматической проверки качества, устойчивости и безопасности GenAI
- разрабатывать агентов и инструменты для автоматизации валидации (LLM-as-a-judge, multi-agent setups и т.д.)
- участвовать в создании и адаптации бенчмарков для LLM и GenAI и кастомизировать их под бизнес-кейсы Банка
- проводить полный цикл R&D: от формулировки исследовательского вопроса, до прототипа, экспериментов и внедрения в рабочий процесс
- держать руку на пульсе и следить за SOTA в LLM / GenAI и переносить лучшие практики в индустриальные решения.
Базовый стек:
- python, pandas
- pytorch
Будет плюсом:
-
Classic ML / DL: Spark, pytorch-lightning, pytorch-distributed
-
LLM / GenAI: langchain, smolagents, huggingface, faiss, vllm, lm-eval, rag-пайплайны
-
оценка и бенчмарки: опыт работы с evaluation-фреймворками
-
высшее образование в области компьютерных, технических или физико-математических наук
-
от 1 года опыта в ML / DS (готовы рассматривать сильных кандидатов с меньшим опытом при наличии pet-проектов, R&D или соревнований).
-
хорошее оонимание:теории ML (как классического, так и по работе генеративного ИИ),математической статистики и теории вероятностей.
-
опыт работы с основными библиотеками анализа данных
-
базовые знания bash и git.
Будет плюсом:
-
опыт R&D-работы или участия в создании бенчмарков
-
опыт валидации или тестирования моделей, а не только их обучения
-
pet-проекты или исследования в области LLM, мультимодальных или real-world моделей
-
умение декомпозировать сложные задачи
-
проактивная позиция и интерес к исследовательской деятельности и генеративному ИИ
-
возможность внести вклад в развитие самой перспективной сферы — искусственный интеллект
-
формат работы: офис (м.Кутузовская)
-
ежегодный пересмотр зарплаты и годовая премия
-
корпоративный спортзал и зоны отдыха
-
более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
-
расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
-
гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
-
бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
-
вознаграждение за рекомендацию друзей в команду Сбера