Sberbank

Senior DevOps LLM (Investment banking platform)

Sberbank

г МоскваPosted Apr 13, 2026

Job description

Информация о проекте:

Хотите изменить свою жизнь и стать частью команды, которая создает будущее инвестиционной индустрии? Тогда присоединяйтесь к нам!

Мы разрабатываем систему, которая автоматизирует весь жизненный цикл инвестиционной сделки. Наши команды работают над следующими направлениями:

  • Алгоритмизированный и AI поиск потенциальных сделок и клиентов;
  • Управление процессом заключения инвестиционных сделок;
  • Финансовые расчеты и оценка портфеля;
  • Построение финансовой и управленческой отчетности по портфелю инвестиций Сбера;
  • Инвестиционные сервисы для компаний - наших клиентов.

Запуск и настройка инфраструктуры инференса (LLM Inference):

  • развертывание и конфигурация Open Source LLM (DeepSeek, Qwen и др.) на собственных мощностях
  • настройка высокопроизводительных инференс-серверов (vLLM, TGI, TensorRT-LLM, llama.cpp)
  • оптимизация использования GPU (память, батчинг, quantization) для достижения требуемой пропускной способности и задержек (latency).

Мониторинг инфраструктуры инференса:

  • настройка систем observability для слоя инференса: сбор метрик (количество запросов, время генерации, использование VRAM, throughput, количество активных потоков/запросов)
  • реализация health checks (ready/live probes) для инференс-серверов
  • автоматизация оповещений (alerts) при деградации производительности или падении сервисов.

Мониторинг работы агентов:

  • настраивать сквозную трассировку (trace_id) по всей цепочке сервисов: от пользовательского интерфейса до агентов и инфраструктуры
  • развивать дашборды в Grafana для мониторинга агентов, инфраструктуры и ключевых компонентов платформы
  • внедрять кастомные метрики для агентов (запросы, статус, P95, LLM-вызовы, токены) без изменения кода агентов
  • обеспечивать корреляцию логов и трейсов для быстрого поиска инцидентов
  • настраивать алерты: технические (Pod OOM, память, ошибки) и качественные (satisfaction rate, регрессии).
  • Работать с централизованным Prompt Hub для хранения и обновления промптов без деплоя
  • автоматизировать интеграцию E2E-тестов с системой трассировки.

Развертывание серверной инфраструктуры

  • поднятие и конфигурация бэкенд-серверов для работы агентов (FastAPI, Node.js или других runtime)
  • контейнеризация (Docker) и оркестрация (Kubernetes / Docker Compose) компонентов системы
  • управление окружениями (dev/stage/prod) и CI/CD пайплайнами для доставки кода агентов и обновлений инфраструктуры.

Написание агентов (Harness Engineering):

  • разработка агентов в структурированном формате Markdown, следуя принципам Claude/Harness Engineering (явное описание инструментов, контекста, последовательности действий)
  • создание системных промптов, определения инструментов (tools/functions) и четких границ поведения агента
  • интеграция агентов с внешними API, базами данных и DevOps-инструментами (Kubernetes, AWS, CI/CD).

Автоматизация процессов сборки, тестирования и развёртывания ПО:

  • разработка и поддержка пайплайнов CI/CD

  • внедрение новых инструментов для автоматизации и мониторинга

  • взаимодействие с командами разработки, тестирования и эксплуатации.

  • опыт развертывания и сопровождения Open Source LLM в продакшене

  • глубокое практическое знание инструментов инференса: vLLM, TGI (Text Generation Inference) или аналогичных (TensorRT-LLM, sglang)

  • понимание внутренних механизмов LLM инференса: KV-cache, continuous batching, quantization (GGUF, GPTQ, AWQ)

  • опыт написания агентов/промптов в продакшн-среде, знакомство с концепцией Harness Engineering (или готовность быстро в нее погрузиться)

  • уверенное владение Python (написание сервисов, скриптов мониторинга, интеграций)

  • экспертный опыт работы с контейнеризацией (Docker)

  • опыт управления кластерами Kubernetes: написание и поддержка манифестов, работа с Helm (чарты)

  • опыт построения и поддержки пайплайнов в Jenkins, GitLab CI

  • уверенная работа с Git (стратегии ветвления, код-ревью)

  • опыт работы с СУБД (PostgreSQL, ClickHouse или аналогичными) в контексте высоконагруженных систем

  • опыт построения observability-стека для микросервисных или агентных систем

  • навыки настройки сквозной трассировки, метрик, логирования и алертинга

  • уверенное владение инструментами: Grafana, Prometheus, Loki, Jaeger, OpenTelemetry.

  • возможность выбрать удобный формат работы: гибрид или офис

  • ежегодный пересмотр зарплаты, годовая премия

  • корпоративный спортзал и зоны отдыха

  • более 400 образовательных программ СберУниверситета для профессионального и карьерного развития

  • расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа

  • ипотека выгоднее до 7% для каждого сотрудника

  • бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров

  • вознаграждение за рекомендацию друзей в команду Сбера.