Job description
Мы – команда Kandinsky, создающая и развивающая core-технологии генеративных моделей изображений и видео. Наши модели умеют создавать фотореалистичные сцены, стилизованные иллюстрации и видеоролики по текстовому описанию, редактировать визуальный контент и работать в мультимодальных сценариях.
Сейчас мы усиливаем направление оценки качества и бенчмаркинга моделей. Ищем лида команды AI Quality & Benchmarking, который возьмёт оунершип качества генеративных моделей и будет влиять на решения о релизах, развитии и сравнении с лучшими мировыми аналогами.
-
полный оунершип трека оценки качества генеративных моделей (Image / Video / Multimodal)
-
проектирование, развитие и поддержка бенчмарков качества: SBS, point-wise, pairwise, human-in-the-loop
-
формирование и развитие системы метрик качества: следование промту, знания, визуальное качество, стабильность, safety
-
поддержка и развитие внутренних лидербордов моделей (качество, latency, стоимость инференса)
-
анализ регрессий качества между версиями моделей, поиск корневых причин деградаций
-
сбор, систематизация и приоритизация обратной связи по качеству от пользователей и команд ML / Product
-
формирование и защита go / no-go решений по релизу моделей на основе данных и метрик
-
регулярный анализ и подготовка отчётов по моделям-конкурентам (open-source и proprietary).
-
высшее образование в области математики, прикладной математики, computer science, data science, ML или смежных областях
-
4+ лет опыта в Data Science / ML / Applied Research, из них существенный фокус на оценку качества моделей
-
глубокое понимание принципов работы генеративных моделей (V-LLM / diffusion / multimodal) и их ограничений
-
практический опыт проектирования и поддержки систем оценки качества моделей (offline и online evaluation)
-
умение самостоятельно формулировать метрики качества и принимать архитектурные решения по evaluation-пайплайнам
-
сильный аналитический бэкграунд: работа со статистикой, интерпретация метрик, оценка значимости, анализ trade-off’ов (качество ↔ стабильность ↔ стоимость)
-
уверенное владение Python (Pandas, NumPy, SciPy), опыт работы с SQL
-
опыт работы с human evaluation, субъективными метриками и процессами разметки данных
-
умение чётко формулировать выводы и доносить решения до ML, Product и руководства.
-
крупнейшее DS&AI community — более 600 DS-специалистов банка
-
дайджест о самых последних разработках в области DS&AI и отчеты с крупнейших конференций мира
-
возможность быть соавтором НИРов и статей для международных конференций
-
возможность выбрать удобный формат работы: гибрид или офис
-
ежегодный пересмотр зарплаты, годовая премия
-
корпоративный спортзал и зоны отдыха
-
более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
-
расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
-
ипотека выгоднее до 7% для каждого сотрудника
-
бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
-
вознаграждение за рекомендацию друзей в команду Сбера.