Job description
Команда RnD NLP занимается исследованиями на переднем краю LLM-строения. Мы стремимся доводить результаты исследований до прикладного применения и сделать флагманскую модель GigaChat умнее, лучше и полезнее.
- Подготовка мультимодальных датасетов и бенчмарков для ML экспериментов продуктовыми командами по различным направлениям генеративных моделей: speech, music, image, video, 3D, text
- Сбор, обработка и хранение данных из открытых источников (web-сайты, huggingface, youtube, telegram, VK, pinterest, и пр)
- Генерация синтетических данных различными open-source моделями (qwen, flux, gemini и др)
- Организация проектов ручного сбора и валидации данных на крауд-платформах TagMe, Elementary, ЯЗ
- Фильтрация и процессинг данных на предмет дублей, блюра, вотермарок, неправомерного контента, реалистичности, эстетичности и технического качества.
Технический стек:
S3, PG, Hadoop, GreenPlum, Airflow, Docker, Kubernetes, Git, Vault, **Python/**SQL, ML Space, Confluence, Jira
- Знания Python (библиотеки для работы с данными и API)
- Опыт работы с ML-пайплайнами и дата сетами для CV/NLP
- Понимание принципов ETL/ELT, жизненного цикла данных
- Навыки работы с SQL (SELECT, JOIN, агрегаты, простые подзапросы)
- Понимание форматов данных (CSV, JSON, Parquet), принципов сериализации и хранения
- Опыт работы с Docker/Kubernetes
Будет плюсом:
-
Опыт работы с Airflow или другими оркестраторами
-
Понимание облачных сервисов
-
комфортный современный офис рядом с м. Кутузовская
-
гибридный формат работы
-
ежегодный пересмотр зарплаты, годовая премия
-
корпоративный спортзал и зоны отдыха
-
система обучения для профессионального и карьерного развития
-
расширенный полис ДМС с первого дня работы и страхование для семьи
-
программа ипотеки для сотрудников
-
бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
-
вознаграждение за рекомендацию друзей в команду Сбера.