Senior Data Engineer (Spark & Airflow)

Publicada 16 de Novembro

A Noesis procura um(a) Senior Data Engineer com experiência em arquitetura de dados ou liderança técnica para integrar uma equipa de Data Engineering.

Principais Tarefas e Responsabilidades:

  • Analisar e migrar processos ETL de IBM DataStage para Spark (PySpark e SQL), adaptando e otimizando para execução distribuída;
  • Migrar a orquestração de workflows de CAWA para Apache Airflow, implementando DAGs e garantindo integração com os processos Spark;
  • Atuar como referência técnica na definição de standards, boas práticas e roadmap técnico de Data Engineering.

Requisitos:

  • Licenciatura em Informática ou similar;
  • Mínimo de 6 anos de experiência em Data Engineering, incluindo funções de arquitetura ou liderança técnica;
  • Conhecimento comprovado na definição e evolução de arquiteturas de dados modernas, incluindo Lakehouse e plataformas analíticas híbridas (Data Lake e Data Warehouse);
  • Domínio de SQL, Python e PySpark, com prática sólida em processamento distribuído (Spark, Databricks, Hadoop, Hive), ambientes Cloud (Azure, GCP ou AWS) e processamento de grandes volumes de dados em batch e/ou streaming;
  • IBM DataStage, migração de processos ETL para Spark, Apache Airflow e orquestração de workflows serão valorizados;
  • Conhecimento sólido de boas práticas de engenharia, incluindo versionamento (Git), automatização e pipelines de CI/CD;
  • Capacidade analítica, atenção ao detalhe, pensamento crítico e visão sistémica;
  • Autonomia, proatividade e capacidade de trabalho com equipas multidisciplinares.

Se reúnes estas condições e gostarias de integrar uma organização inovadora, que aposta continuamente na formação dos seus talentos, envia-nos a tua candidatura.

Join us. Let’s innovate together!

Todos os nossos processos de recrutamento e seleção baseiam-se na igualdade de oportunidades, valorizando a competência e o potencial de cada pessoa e garantindo que nenhum candidato ou candidata é discriminado com base em género, etnia, orientação sexual, idade, religião ou condição física.

- Anúncio criado ao abrigo da Lei n º 4 / 2019, de 10 de Janeiro

Requisitos mínimos