Sobre a área:
Descrição da vaga:
Buscamos uma pessoa para atuar na construção, sustentação e evolução da nossa plataforma de dados, garantindo dados disponíveis, confiáveis, seguros e performáticos para apoiar a tomada de decisão e a geração de valor para o negócio.
No dia a dia, terá atuação no desenvolvimento e monitoramento de pipelines de dados end-to-end, novas ingestões, qualidade de dados e otimização de performance e custos da plataforma.
A posição terá contato com um ambiente moderno de dados e tecnologias como Snowflake, DBT, Airflow (Composer), Spark (DataProc), Google Cloud Storage, Python, SQL e Azure DevOps, além de interação com diferentes times de tecnologia, dados e negócio.
Responsabilidades:
-
Desenvolver e implementar pipelines de dados escaláveis e eficientes para ingestão, transformação e disponibilização de dados;
-
Sustentar e evoluir os pipelines existentes, garantindo estabilidade, confiabilidade e disponibilidade dos dados;
-
Implementar novas ingestões e integrar diferentes fontes de dados à plataforma;
-
Monitorar pipelines de dados, identificando falhas, gargalos e inconsistências e atuando de forma proativa na resolução de incidentes;
-
Otimizar a performance de pipelines, consultas e demais componentes da arquitetura de dados;
-
Monitorar e otimizar o consumo de recursos da plataforma, buscando equilíbrio entre performance, qualidade e custos;
-
Implementar validações, testes e controles para garantir a qualidade, integridade e consistência dos dados;
-
Utilizar Azure DevOps para versionamento, controle de mudanças e gestão das entregas;
-
Criar e manter a documentação técnica de pipelines, fontes de dados, regras de transformação e arquitetura;
-
Apoiar as áreas usuárias no acesso, entendimento e utilização dos dados e ferramentas disponíveis;
-
Apoiar a gestão de acessos aos dados e ferramentas, garantindo aderência às políticas de segurança e governança;
-
Atuar em parceria com times de negócio, Analytics, Ciência de Dados e Engenharia, traduzindo necessidades em soluções de dados escaláveis.
Requisitos e qualificações:
-
Conhecimento em fundamentos de Engenharia de Dados, incluindo pipelines, ETL/ELT, Data Lakes e Data Warehouses;
-
Conhecimento em arquitetura de dados em Cloud, especialmente GCP e Azure;
-
Conhecimento em modelagem de dados dimensional, Data Vault e/ou modelagem analítica com DBT;
-
Conhecimento em DataOps e práticas de CI/CD para dados;
-
Conhecimento em Python aplicado à Engenharia de Dados, incluindo ETL, automações e APIs;
-
Conhecimento avançado em SQL;Conhecimento em Git e versionamento de código;
-
Conhecimento em Snowflake, incluindo performance tuning e modelagem;
-
Conhecimento em DBT para desenvolvimento de modelos, testes e documentação;
-
Conhecimento em Airflow para orquestração de pipelines e DAGs;Conhecimento em Spark para processamento distribuído e otimização.
Benefícios:
- Salário compatível com o mercado;
- Participação dos lucros e resultados;
- Vale Alimentação - com 13ª e 14ª cestas complementares;
- Vale Refeição;
- Assistência Médica e Odontológica;
- Auxílio Creche;
- Seguro de vida;
- Total Pass;
- Licença Maternidade/Paternidade estendida;
- Day Off Aniversário.