Engenheiro(a) de Dados AWS Sênior

Engenheiro(a) de Dados AWS Sênior

Sobre a oportunidade

A ICON IT está em busca de um(a) Engenheiro(a) de Dados AWS Sênior para atuar em um projeto de integração de dados em ambiente AWS, envolvendo a ingestão de informações provenientes de uma API externa em um Data Lake corporativo já existente.

O profissional será responsável pela implementação e configuração dos fluxos de ingestão, transformação e disponibilização dos dados até a camada Trusted, respeitando os padrões de arquitetura, governança, segurança e qualidade estabelecidos no ambiente do cliente.

O projeto contempla as etapas de implementação, testes, documentação técnica e acompanhamento da estabilização da solução.

Principais responsabilidades

-

Analisar os requisitos técnicos da API REST, incluindo autenticação, documentação OpenAPI/Swagger, paginação e mecanismos de atualização incremental.

-

Implementar e configurar pipelines de ingestão de dados utilizando os serviços AWS e os componentes já disponíveis no ambiente.

-

Desenvolver processos de tratamento e transformação de dados nas camadas Landing, Raw e Trusted.

-

Implementar mecanismos de carga inicial e incremental, controle de processamento, deduplicação e exclusão lógica.

-

Garantir a integridade, consistência, rastreabilidade e qualidade dos dados processados.

-

Estruturar e disponibilizar os dados para consulta por meio do Amazon Athena.

-

Implementar mecanismos de monitoramento, logging e tratamento de falhas nos processos de integração.

-

Realizar testes técnicos, validações e reconciliação dos dados entre origem e destino.

-

Elaborar documentação técnica e realizar transferência de conhecimento para a equipe responsável pela operação.

-

Apoiar a estabilização da solução durante o período de Hypercare.

Requisitos obrigatórios

-

Experiência sólida em Engenharia de Dados em ambientes AWS.

-

Domínio de Python e SQL.

-

Experiência prática com AWS Glue, Amazon S3 e Amazon Athena.

-

Experiência com integração e ingestão de dados provenientes de APIs REST.

-

Conhecimento de arquiteturas de Data Lake e processos ETL/ELT.

-

Experiência com cargas incrementais, checkpoints e reprocessamento de dados.

-

Conhecimento de tratamento, deduplicação e validação de dados.

-

Experiência com formatos JSON e Parquet.

-

Conhecimento de Git e boas práticas de versionamento de código.

Diferenciais

-

Experiência com AWS Lambda, Step Functions e Amazon EventBridge.

-

Conhecimento de AWS Glue Data Catalog.

-

Experiência com documentação OpenAPI/Swagger.

-

Conhecimento de infraestrutura como código (Terraform ou CloudFormation).

-

Vivência em ambientes corporativos com frameworks de ingestão, pipelines e padrões de governança previamente estabelecidos.

Informações adicionais

Modalidade: 100% Remota
Duração estimada: 2 meses, incluindo implementação e Hypercare
Cód Icon: A67677316977

Venha fazer parte da ICON IT!

Se você possui experiência sólida em Engenharia de Dados AWS e busca participar de um projeto com desafios técnicos relevantes, queremos conhecer seu perfil.

Você conhece a Icon?

Apaixonados por pessoas e especialistas em tecnologia. Nosso trabalho é encontrar talentos e soluções sob medida para os nossos clientes.

Vem encontrar o seu projeto ideal conosco e participar da comunidade ICON!

#vemserICON