Engenheiro(a) de Dados Sênior (Databricks)

Engenheiro(a) de Dados Sênior (Databricks) - Remoto

Você conhece a Icon?

Apaixonados por pessoas e especialistas em tecnologia. Nosso trabalho é encontrar talentos e soluções sob medida para os nossos clientes.

Vem encontrar o seu projeto ideal conosco e participar da comunidade ICON!

Sobre a Vaga

Código da vaga: A67602237209

Modelo de contratação: PJ

Buscamos um(a) Engenheiro(a) de Dados Sênior com sólida experiência em Databricks para atuar na construção de soluções modernas de dados, apoiando organizações em suas jornadas de transformação digital e analytics.
Você fará parte do Centro de Excelência Databricks, trabalhando com arquiteturas Lakehouse, processamento distribuído, streaming de dados e tecnologias de última geração para desenvolvimento de plataformas de dados escaláveis.

Responsabilidades

• Atuar como referência técnica em projetos de dados, com mínima supervisão.
• Desenvolver soluções inovadoras utilizando a plataforma Databricks e arquiteturas Lakehouse modernas.
• Participar da construção de plataformas de dados de próxima geração.
• Trabalhar em conjunto com Arquitetos de Solução na definição e implementação de componentes da arquitetura.
• Participar de workshops técnicos e sessões de design de soluções.
• Transformar requisitos complexos em entregas técnicas estruturadas.
• Desenvolver aceleradores, frameworks e componentes reutilizáveis para o Centro de Excelência Databricks.
• Colaborar com equipes multidisciplinares para garantir qualidade, escalabilidade e performance das soluções.

Principais Atividades Técnicas

• Desenvolvimento de pipelines de dados utilizando Databricks.
• Implementação e administração de:
• Delta Lake
• Unity Catalog
• Delta Live Tables (Lakeflow Declarative Pipelines)
• Apache Iceberg / Uniform
• Construção de pipelines batch, micro-batch e streaming.
• Ingestão de dados utilizando Auto Loader.
• Desenvolvimento de workflows e orquestrações utilizando:
• Databricks Workflows
• Apache Airflow
• dbt
• Implementação de mecanismos de observabilidade, auditoria e qualidade de dados.
• Aplicação de práticas DevOps e CI/CD para ambientes Databricks.

Requisitos Obrigatórios

• Experiência sólida em Engenharia de Dados.
• Mínimo de 2 anos de experiência prática com Databricks em ambiente produtivo.
• Experiência em desenvolvimento de pipelines escaláveis orientados por configuração (YAML).
• Conhecimento avançado em:
• SQL
• Python
• PySpark
• Vivência com arquiteturas de dados modernas.
• Conhecimento em:
• Apache Spark
• Presto
• Amazon EMR
• Experiência com Data Warehouses Cloud:
• Snowflake
• Amazon Redshift
• Google BigQuery
• Experiência com integração contínua e entrega contínua (CI/CD).
• Conhecimento em Git e versionamento de código.

Diferenciais

• Certificação Databricks Data Engineer Associate ou Professional.
• Experiência com Terraform e Infraestrutura como Código (IaC).
• Conhecimento em Great Expectations, Collibra ou ferramentas de Data Quality.
• Experiência com bancos NoSQL.
• Conhecimento em containers e Kubernetes.
• Vivência com MLflow e soluções de IA Generativa.
• Participação em projetos de modernização e migração para Lakehouse.

Local

Remoto

#vemserICON