
Senior Data Engineer (Spark & Airflow)
Publicada 16 de NovembroA Noesis procura um(a) Senior Data Engineer com experiência em arquitetura de dados ou liderança técnica para integrar uma equipa de Data Engineering.
Principais Tarefas e Responsabilidades:
- Analisar e migrar processos ETL de IBM DataStage para Spark (PySpark e SQL), adaptando e otimizando para execução distribuída;
- Migrar a orquestração de workflows de CAWA para Apache Airflow, implementando DAGs e garantindo integração com os processos Spark;
- Atuar como referência técnica na definição de standards, boas práticas e roadmap técnico de Data Engineering.
Requisitos:
- Licenciatura em Informática ou similar;
- Mínimo de 6 anos de experiência em Data Engineering, incluindo funções de arquitetura ou liderança técnica;
- Conhecimento comprovado na definição e evolução de arquiteturas de dados modernas, incluindo Lakehouse e plataformas analíticas híbridas (Data Lake e Data Warehouse);
- Domínio de SQL, Python e PySpark, com prática sólida em processamento distribuído (Spark, Databricks, Hadoop, Hive), ambientes Cloud (Azure, GCP ou AWS) e processamento de grandes volumes de dados em batch e/ou streaming;
- IBM DataStage, migração de processos ETL para Spark, Apache Airflow e orquestração de workflows serão valorizados;
- Conhecimento sólido de boas práticas de engenharia, incluindo versionamento (Git), automatização e pipelines de CI/CD;
- Capacidade analítica, atenção ao detalhe, pensamento crítico e visão sistémica;
- Autonomia, proatividade e capacidade de trabalho com equipas multidisciplinares.
Se reúnes estas condições e gostarias de integrar uma organização inovadora, que aposta continuamente na formação dos seus talentos, envia-nos a tua candidatura.
Join us. Let’s innovate together!
Todos os nossos processos de recrutamento e seleção baseiam-se na igualdade de oportunidades, valorizando a competência e o potencial de cada pessoa e garantindo que nenhum candidato ou candidata é discriminado com base em género, etnia, orientação sexual, idade, religião ou condição física.
- Anúncio criado ao abrigo da Lei n º 4 / 2019, de 10 de Janeiro
Requisitos mínimos