Tech Lead de Dados

Sobre a Confi A Confi é uma empresa de tecnologia que atua em soluções digitais de inteligência de mercado, logística reversa e B2C, gerando confiança entre empresas e consumidores. Somos um time 100% remoto e distribuído, com cultura de colaboração que valoriza confiança, autonomia e responsabilidade. Nosso time de tecnologia está em transformação, e buscamos pessoas curiosas, comprometidas com entregas de alta qualidade técnica e que queiram crescer junto conosco.

Sobre a oportunidade Buscamos um(a) Tech Lead de Dados para liderar tecnicamente a evolução da nossa plataforma de dados na OCI (Oracle Cloud Infrastructure): uma arquitetura Lakehouse moderna, com ingestão near-real time e processamento distribuído em Py. Spark, organizada em modelo medalhão (Bronze → Platinum) e com consumo via MySQL HeatWave e Metabase.

Você será a referência técnica do time de dados: define padrões, garante a qualidade e a performance da plataforma, conduz a relação com o parceiro cloud e faz a ponte entre as demandas das áreas de negócio e a execução da engenharia. Esperamos que você continue próximo(a) do código, mas com foco em multiplicar o impacto do time.

Responsabilidades Liderança técnica Liderar tecnicamente o time de engenharia de dados: orientar decisões de arquitetura, conduzir code reviews e definir padrões de desenvolvimento. Mentorar engenheiros(as) e apoiar o desenvolvimento técnico do time, promovendo boas práticas e compartilhamento de conhecimento. Definir e evoluir a arquitetura Lakehouse em OCI (buckets, Heat.

Wave, external tables) e o modelo medalhão, com visão de longo prazo e trade-offs claros. Garantir a entrega com qualidade, previsibilidade e alinhamento às prioridades da empresa. Gestão de parceiro cloud e fornecedores Ser o ponto focal técnico com o parceiro cloud (OCI): acompanhar entregas, escalar incidentes, avaliar propostas e garantir que o SLA e as expectativas técnicas sejam atendidas.

Apoiar decisões de custo, capacidade e roadmap da plataforma, com visão crítica sobre soluções e serviços contratados. Gestão de demanda e interação com as áreas internas Atuar como interlocutor(a) das áreas de negócio: entender necessidades, traduzir em requisitos técnicos, priorizar o backlog e alinhar prazos e expectativas.

Comunicar riscos, dependências e resultados de forma clara para stakeholders técnicos e não técnicos. Observabilidade, tuning e performance Definir e implementar a estratégia de observabilidade dos pipelines: monitoramento, alertas, métricas de SLA/SLO, linhagem e qualidade de dados. Conduzir o tuning e a otimização de performance de jobs Py.

Spark, consultas SQL e cargas no Heat. Wave, atuando na identificação de gargalos e na redução de custo. Consolidar práticas de Data. Ops, governança e confiabilidade da plataforma. Engenharia (hands-on) Desenvolver e revisar pipelines em Py. Spark nas camadas Bronze/Silver/Gold/Platinum. Estruturar ingestão via Event.

Hub, flat files e MongoDB (API). Criar e manter DAGs no Airflow. Automatizar processos e CI/CD com GitHub + GitHub Actions. Implementar integrações e exports com Python + Metabase API. Requisitos técnicos Experiência prévia em liderança técnica de times de dados (tech lead, líder técnico ou equivalente), com histórico de mentoria e definição de padrões.

Domínio avançado em Py. Spark, Python e SQL. Domínio avançado em modelagem de dados. Domínio de Data Lake / Delta Lake. Experiência com arquitetura medalhão e pipelines near-real time. Experiência com Airflow e Git/GitHub Actions. Experiência com infraestrutura em cloud (AWS, GCP, Azure, OCI...) Experiência em troubleshooting, tuning e otimização de performance de pipelines distribuídos.

Integrações com APIs e MongoDB. Boa comunicação e capacidade de negociação com stakeholders e fornecedores. Diferenciais Conhecimento na cloud OCI (Data Flow, buckets, Heat. Wave, external tables). Vivência na gestão de parceiros/fornecedores de cloud ou consultorias. Experiência com Data. Ops e ferramentas de observabilidade e data quality.

Governança de dados (catálogo, linhagem, políticas de acesso). Experiência com Fin. Ops / otimização de custos em cloud. Informações sobre a posição: Modelo: 100% Remoto Contrato: PJ Remuneração: aberto para negociação Ajuda de custo + VA/VR: R$1068,00 no cartão Ifood Benefícios Plano de Saúde Amil Parceria com Wellhub Telemedicina pela Starbem