MISSION :
La/Le Data Engineer assure la conception technique et le développement d'actifs informatiques dédiés à la gestion de données ainsi qu'à leurs pipelines entrants et sortants. Elle/Il s'appuie sur la conception fonctionnelle réalisée par la/le Business Analyst spécialisé en Data, sur le cadre défini par la direction de l'architecture et dans le respect de l'Enterprise Data model et des standards IT.
Elle/Il travaille de concert avec la/le Data Analyst, qui s’occupe de l’agrégation des données, et avec la/le Data Scientist, qui se charge de l’exploitation des données nécessitant des algorithmes plus complexes. Par ailleurs, elle/il interagit avec la sécurité, la continuité et l'architecture informatique afin d'aboutir à une validation des actifs informatiques qu'elle/il conçoit et développe.
ACTIVITES PRINCIPALES :
Elle/Il réalise tout ou partie des activités suivantes
• Participer et supporter les activités de définition des exigences métiers et de conception fonctionnelle.
• Concevoir et construire des actifs informatiques dédiés au management des données (Datamart, Datawarehouse, Datamarketplace, Data hub, Data lab, Data visualisation, Data virtualisation…).
• Concevoir et développer le code ou les scripts des Data pipelines qui s'appuient sur des données structurées et non-structurées en provenance de différentes sources et qui alimentent les actifs informatiques dédiés au management de données.
• Installer et configurer des logiciels requis dans le respect du cadre de référence.
• Assurer la maintenance des solutions et intervenir en support lorsque nécessaire.
Compétences métier et/ou techniques :
Compétences Métiers
• Connaissances en matière de Data
• Développement informatique
Outils
• Outils DevOps Git, Jenkins, Ansible, etc.
• Outils Data Visualisation Tableau, Qlik Sense, PowerBI, etc.
• Outils de Data Préparation Alteryx, Dataiku, etc.
• Outils de Data lab Domino, KNIME, etc.
• Outils de Data masking
• Langages de développement Python, R, Java, C, C++ et Big Data (Scala, Spark…)
• Outil d'ingestion NiFi, DataStage, Talend, Informatica…
• Système de stockage NoSQL MongoDB, Cassandra…
• Système de Streaming Kafka…
• Ecosystème Hadoop (Cloudera / HortonWorks) ainsi que IBM cloud (COS)
- MéthodologiesAgile Agile@scale
Compétences comportementales et/ou managériales :
- Rigueur
- Capacité d'analyse
- Capacité à synthétiser / simplifier
- Capacité à communiquer - à l'oral et par écrit
- Capacité à collaborer / travail d'équipe
- Capacité à développer les autres et leurs compétences
Compétences transversales :
- Capacité à élaborer et à adapter un processus
