montreal, Quebec

Data Engineer – Ingénieur de données

Ingénieur de données/Data engineer

  • Concevoir, mettre en production et maintenir des pipelines de données extensibles en temps réel et à lots volumineux pouvant supporter des transformations complexes de données;
  • Nettoyer et préparer les données brutes afin de leur donner un format plus adéquat et riche en vue de leur analyse.
  • Créer et optimiser des requêtes complexes visant de grands ensembles de données;
  • Réunir des ensembles de données complexes et volumineux de manière à satisfaire aux exigences d’affaires, qu’elles soient d’ordre fonctionnel ou non;
  • Soutenir les parties prenantes en réglant les problèmes techniques liés aux données et en répondant aux besoins de leur infrastructure de données;
  • Travailler de pair avec les équipes d’affaires afin de traduire les exigences fonctionnelles en exigences techniques;
  • Recenser les exigences d’affaires et les exigences fonctionnelles des projets et fournir des devis en conséquence;
  • Offrir soutien et collaboration à des équipes interfonctionnelles dans un milieu dynamique;
  • Mettre au point des flux de travaux et des outils qui automatisent les processus de chargement de données et aident à assurer la qualité et l’intégrité de ces dernières.

Compétences

  • Un baccalauréat en informatique, en génie logiciel ou dans une discipline équivalente;
  • De l’expérience concrète avec les principales plateformes infonuagiques commerciales, dont celles d’AWS et d’Azure;
  • Une maîtrise de SQL, Python et de PySpark;
  • Une solide connaissance de Apache Spark(Databricks ou similaire), de Kafka et de NiFi (d’Apache);
  • De l’expérience pratique avec les distributions de Hadoop (Cloudera et Hortonworks) ainsi qu’avec Hive;
  • Une expérience affirmée avec des bases de données relationnelles SQL ou NoSQL comme PostgreSQL, Oracle, Cassandra et MongoDB;
  • De l’expérience de première main avec Snowflake, Redshift ou des technologies de stockage infonuagique similaires;
  • Une connaissance d’ElasticSearch et de Kibana (atout important);
  • Une connaissance d’Alation ou d’autres outils de catalogage de données, comme ceux d’Azure et d’Informatica (atout important);
  • Une connaissance de Kubernetes et de Docker (atout important);
  • De l’expérience avec les méthodes agiles;
  • De solides aptitudes en présentation, en animation, en communication orale et écrite et en relations interpersonnelles.

Postule pour ce poste