Job description
Мы — команда разработки AI-агентов и решений на базе LLM и классических моделей машинного обучения.
Создаём интеллектуальных ассистентов, диалоговые системы, инструменты извлечения знаний и автоматизацию бизнес-процессов с помощью передовых языковых моделей.
Первый этап отбора на эту вакансию — общение с AI- рекрутером. После отклика вам на почту придёт приглашение пройти первичное интервью с ГиаРекрутером. Диалог займёт примерно 10 минут. Его задача — уточнить недостающие детали и ускорить рассмотрение вашей кандидатуры. ГиаРекрутер только начинает свой путь, поэтому просим относиться с пониманием. Ваш опыт и участие помогут сделать его удобным и полезным!
-
разметка текстовых данных для обучения и оценки LLM: диалоговые и агентные треки, оценка ответов модели (quality, safety, style), ранжирование вариантов ответов (preference data)
-
создание и уточнение разметочных инструкций под конкретные продуктовые сценарии
-
валидация и контроль качества разметки (внутренней и внешней)
-
анализ размеченных данных: распределение классов, выявление аномалий, системных ошибок
-
подготовка аналитических отчётов для ML-инженеров и продакт-менеджеров
-
оценка качества данных до и после разметки
-
формулирование гипотез по улучшению данных и, как следствие, модели
-
участие в формировании требований к данным для новых фич
-
помощь в построении пайплайнов валидации данных.
-
опыт разметки текстовых данных от 2 лет (включая работу с диалогами, инструкциями, LLM)
-
понимание, как качество разметки влияет на качество моделей (LLM и классических)
-
базовые навыки аналитики данных: SQL, Pandas, описательная статистика
-
опыт подготовки аналитических выкладок / дашбордов по качеству данных
-
понимание ключевых метрик качества разметки (коэффициент согласия, precision/recall на золотом наборе).
Будет плюсом
-
опыт работы с LLM (дообучение, промпт-инжиниринг, оценка ответов)
-
знакомство с агентными архитектурами (planning, tool use, memory)
-
базовые знания Python (автоматизация проверок разметки)
-
опыт управления внешними разметчиками / краудом
-
понимание метрик оценки LLM (BLEU, ROUGE, BertScore, LLM-as-a-judge).
-
возможность профильного обучения (обучение и сертификация за счет компании в Корпоративном университете)
-
профессиональный рост
-
гибкий график начала рабочего дня, гибридный формат работы. Офис расположен в г.Москва Кутузовский проспект 32
-
стабильная, конкурентная «белая» заработная плата (оклад + премии)
-
льготные условия по кредитам Сбербанка
-
ДМС, страхование от несчастных случаев, социальные гарантии, корпоративные мероприятия.