Engenheiro de Dados Databricks Pleno/Sênior

Estamos em busca de um(a) Engenheiro(a) de Dados Sênior para atuar na construção, sustentação e evolução de soluções de dados em ambiente Microsoft Azure. Procuramos um profissional com forte experiência em Big Data, processamento distribuído e engenharia de dados em nuvem, capaz de desenvolver pipelines escaláveis, garantir a qualidade dos dados e contribuir para a modernização da plataforma analítica da organização.

Responsabilidades:

• Desenvolver, implementar e sustentar soluções e ambientes de dados em nuvem Microsoft Azure;
• Construir, monitorar e otimizar pipelines de dados garantindo eficiência, escalabilidade e confiabilidade;
• Utilizar Azure Databricks e PySpark para processamento e transformação de grandes volumes de dados;
• Atuar com processamento distribuído e integração de múltiplas fontes de dados;
• Garantir qualidade, integridade, segurança e governança dos dados;
• Identificar oportunidades de melhoria em performance, automação e arquitetura de dados;
• Avaliar novas tecnologias, tendências e boas práticas relacionadas à Engenharia de Dados.

Requisitos:

• Experiência sólida com Python, SQL e PySpark;
• Conhecimento em Big Data e processamento distribuído utilizando Hadoop e Hive;
• Experiência com Microsoft Azure e Azure Databricks;
• Vivência na construção, manutenção e otimização de pipelines de dados em Azure;
• Conhecimento em governança, qualidade e segurança de dados;
• Experiência com Azure DevOps;
• Conhecimento em versionamento de código e integração contínua;
• Vivência em ambientes ágeis.

Diferenciais:

• Certificação Microsoft Azure Data Engineer Associate (DP-203);
• Experiência com otimização de performance e custos em ambientes Big Data;
• Conhecimento em arquitetura, automação e observabilidade de pipelines;
• Vivência em projetos de modernização e evolução de plataformas de dados em nuvem.

Formação:

• Superior completo em Ciência da Computação, Engenharia da Computação, Sistemas de Informação, Análise e Desenvolvimento de Sistemas, Engenharia de Software, Estatística, Matemática, Ciência de Dados ou áreas correlatas.