Data Engineer – Ingénieur de données

Ingénieur de données/Data engineer

• Concevoir, mettre en production et maintenir des pipelines de données extensibles en temps réel et à lots volumineux pouvant supporter des transformations complexes de données;
• Nettoyer et préparer les données brutes afin de leur donner un format plus adéquat et riche en vue de leur analyse.
• Créer et optimiser des requêtes complexes visant de grands ensembles de données;
• Réunir des ensembles de données complexes et volumineux de manière à satisfaire aux exigences d’affaires, qu’elles soient d’ordre fonctionnel ou non;
• Soutenir les parties prenantes en réglant les problèmes techniques liés aux données et en répondant aux besoins de leur infrastructure de données;
• Travailler de pair avec les équipes d’affaires afin de traduire les exigences fonctionnelles en exigences techniques;
• Recenser les exigences d’affaires et les exigences fonctionnelles des projets et fournir des devis en conséquence;
• Offrir soutien et collaboration à des équipes interfonctionnelles dans un milieu dynamique;
• Mettre au point des flux de travaux et des outils qui automatisent les processus de chargement de données et aident à assurer la qualité et l’intégrité de ces dernières.

Compétences

• Un baccalauréat en informatique, en génie logiciel ou dans une discipline équivalente;
• De l’expérience concrète avec les principales plateformes infonuagiques commerciales, dont celles d’AWS et d’Azure;
• Une maîtrise de SQL, Python et de PySpark;
• Une solide connaissance de Apache Spark(Databricks ou similaire), de Kafka et de NiFi (d’Apache);
• De l’expérience pratique avec les distributions de Hadoop (Cloudera et Hortonworks) ainsi qu’avec Hive;
• Une expérience affirmée avec des bases de données relationnelles SQL ou NoSQL comme PostgreSQL, Oracle, Cassandra et MongoDB;
• De l’expérience de première main avec Snowflake, Redshift ou des technologies de stockage infonuagique similaires;
• Une connaissance d’ElasticSearch et de Kibana (atout important);
• Une connaissance d’Alation ou d’autres outils de catalogage de données, comme ceux d’Azure et d’Informatica (atout important);
• Une connaissance de Kubernetes et de Docker (atout important);
• De l’expérience avec les méthodes agiles;
• De solides aptitudes en présentation, en animation, en communication orale et écrite et en relations interpersonnelles.

Postule pour ce poste