Engenheiro(a) de Dados Pleno

Buscamos um(a) Engenheiro(a) de Dados Pleno para atuar no desenvolvimento e evolução de soluções de Engenharia de Dados no ecossistema Google Cloud Platform (GCP).

A pessoa será responsável por atuar de ponta a ponta no ciclo de dados, desde a ingestão e processamento até a transformação, modelagem e disponibilização das informações para consumo.

O desafio envolve construir e manter pipelines de dados confiáveis, desenvolver transformações utilizando BigQuery e Dataform ou dbt, automatizar processos com Python e contribuir para a qualidade, governança e organização dos dados.

Além das atividades de engenharia, poderá apoiar as parametrizações iniciais da solução, contribuindo com a gestão de usuários, acessos, documentação operacional e relacionamento com áreas de negócio.

Responsabilidades e Atribuições

• Desenvolver e manter pipelines de dados de ponta a ponta, contemplando ingestão, processamento, transformação, modelagem e disponibilização.
• Construir consultas e transformações utilizando SQL avançado e BigQuery.
• Desenvolver e manter modelos de dados utilizando Dataform ou dbt.
• Criar rotinas de ingestão e automação utilizando Python, incluindo implementação de testes automatizados.
• Desenvolver e acompanhar fluxos de processamento e orquestração utilizando Apache Airflow, preferencialmente Cloud Composer.
• Integrar e utilizar serviços da Google Cloud Platform, incluindo Cloud Storage, Cloud Functions e IAM.
• Implementar práticas de qualidade de dados, validação, testes e monitoramento dos processos.
• Trabalhar com versionamento de código utilizando Git e fluxos de Pull Requests.
• Apoiar a organização e disponibilização dos dados para as camadas de consumo e ferramentas analíticas.
• Apoiar, quando necessário, as parametrizações iniciais da solução, incluindo gestão de usuários e acessos.
• Documentar procedimentos operacionais e manter runbooks atualizados.
• Interagir com áreas de negócio para compreender necessidades e apoiar a evolução das soluções de dados.

Requisitos

• Experiência em Engenharia de Dados, atuando de ponta a ponta, desde a ingestão até a camada de consumo.
• Conhecimento avançado de SQL e experiência com BigQuery.
• Experiência com transformação e modelagem de dados utilizando Dataform ou dbt.
• Conhecimento de Python aplicado à ingestão de dados e automação de processos.
• Experiência com desenvolvimento de testes automatizados.
• Conhecimento de Apache Airflow, preferencialmente utilizando Cloud Composer.
• Experiência com serviços da Google Cloud Platform, especialmente Cloud Storage, Cloud Functions e IAM.
• Conhecimento de práticas de qualidade de dados e validação de pipelines.
• Experiência com versionamento de código utilizando Git e fluxo de Pull Requests.

Diferenciais

• Experiência com Apache Superset.
• Conhecimento ou experiência com implementação de Row Level Security (RLS).
• Experiência com controle de acesso e segregação de dados por cliente.
• Conhecimento em gestão de usuários e acessos, incluindo SSO e MFA.
• Disciplina para seguir procedimentos operacionais e manter runbooks atualizados.
• Boa comunicação e interação com áreas de negócio.
• Interesse e iniciativa para identificar e automatizar atividades operacionais.