Un Data Engineer est un ingénieur qui construit de manière industrielle des pipelines de données. Son rôle consiste à collecter, organiser et préparer des données brutes en données exploitables par des Data analyst ou data scientist.
Quelles sont ces compétences ?
- Méthode de modélisation data : DataLake, DataWarehouse, DataMart…
- Logiciels et technologies associés au big data : Hadoop, Spark, ELK…
- Langages utilisés pour les traitements Data : Python, Scala, SQL…
- Plateforme Cloud : Amazon AWS, Google GCP, Microsoft Azure…
- Outils et méthode : GIT, CI/CD, Jenkins, Scrum…
Quelles sont ses missions ?
Les missions de l’ingénieur des données varient d’une entreprise à l’autre. Toutefois, en règle générale, il se voit confier quatre missions principales.
- Mettre en place les processus de collecte, d’organisation, de stockage et de modélisation des données.
- Assurer l’accès aux différentes sources, et veiller à la qualité des données.
- Assurer la mise en production des modèles de prédiction créés par les Data Scientists.