Descrição da vaga
O time de engenharia de dados da EvcomX é responsável por construir e manter toda a infraestrutura que permite aos nossos cientistas de dados e clientes transformarem dados brutos em valor de negócio. Trabalhamos com arquitetura medallion em ambientes Databricks, processando grandes volumes de dados industriais e garantindo que pipelines críticas de produção operem com alta disponibilidade.
Nossos engenheiros de dados atuam próximos aos cientistas de dados, apoiando desde a experimentação até a operacionalização de modelos em produção, incluindo pipelines de inferência em near-real-time que impactam diretamente as operações dos nossos clientes.
Responsabilidades e atribuições
- Desenvolver e manter pipelines de dados escaláveis utilizando Spark e Delta Lake,
- Garantir a qualidade e disponibilidade dos dados para times de ciência de dados e para as aplicações,
- Construir e operar pipelines de produção para inferência de modelos de ML,
- Implementar estratégias de data quality e testes em pipelines de dados,
- Colaborar na evolução da arquitetura de dados seguindo padrões como medalhão,
- Otimizar performance das pipelines,
- Arquiteturas de dados em larga escala para indústria,
- Pipelines de produção para aplicações de machine learning,
- Boas práticas de data quality e governança de dados,
- Visão de negócio aplicada a problemas industriais reais.
Requisitos e qualificações
- Experiência de 2 a 4 anos atuando com engenharia de dados,
- Experiência sólida com Apache Spark (preferencialmente PySpark),
- Familiaridade com arquiteturas de Data Lakehouse e formatos colunares (Delta, Parquet),
- Experiência com controle de versão usando Git e boas práticas de programação e código limpo,
- Capacidade de comunicar e discutir soluções técnicas com diferentes perfis.
Requisitos desejáveis
- Experiência com pipelines de MLOps e deploy de modelos em produção,
- Conhecimento em ferramentas de data quality e observabilidade de dados,
- Desenvolvimento de data apps,
- Familiaridade com processamento de dados em streaming ou near-real-time,
- Conhecimento em cloud (Azure ou AWS) e DBT,
- Familiaridade em Databricks (Jobs, Workflows, Unity Catalog).
Crie sua conta grátis para ver o link da candidatura.