Data Engineer Exprimente HF
Data Engineer Exprimente HF
Employer Active
Job Alert
You will be updated with latest job alerts via email
Share
Job Alert
You will be updated with latest job alerts via email
Not Disclosed
Salary Not Disclosed
1 Vacancy
Job Description
Dans le cadre dune mission dans les mtiers de lnergie notre quipe Segula Transform spcialise dans les projets IA recherche un(e) Data Engineer Senior pour effectuer lingestion de donnes via des Step Functions utilisant Glue et Lambda. Le candidat sera amen optimiser lingestion en utilisant PySpark et les bonnes pratiques (caching persist partitioning infrence des schmas etc.). Il devra galement maintenir et/ou mettre en place des politiques de qualit des donnes dvelopper avec une approche modulaire en encapsulant ces environnements.
Vos missions :
- Effectuer lingestion de donnes via des Step Functions utilisant Glue et Lambda.
- Optimiser lingestion de donnes en utilisant PySpark et les bonnes pratiques.
- Maintenir et mettre en place des politiques de qualit des donnes.
- Dvelopper avec une approche modulaire en encapsulant les environnements.
- Orchestrer les diffrents pipelines dingestion avec une matrise des commandes Git.
- Dvelopper des fonctionnalits telles que des fonctions enrichissantes ou de monitoring des donnes et mettre en place de nouveaux logs.
- Assurer les tests de validation techniques incluant la mise en place de tests unitaires et de tests dintgration.
- Livrer la documentation technique (schmas types tables processus dvolution des tables).
- Vrifier et valider les nouvelles versions du code (matrise de Git utilisation des branches Git dans Databricks serait un plus).
- Contribuer activement ldification de lquipe Machine Learning Engineer.
Qualifications :
- Diplme de niveau bac5 en Data Science ou Informatique.
- Une exprience de 6 ans minimum en Data engineering.
- Exprience dans lutilisation des GitHub Actions avec des multibranches triggers if conditions workflows et jobs.
- Matrise des technologies AWS : EC2 S3 Lambda Step Functions CloudWatch.
- Exprience avec Glue pour lingestion de donnes.
- Matrise de Python et PySpark.
- Connaissance de Checkmarx et SonarQube pour veiller la qualit du code.
- Esprit proactif
Comptences supplmentaires apprcies :
- Connaissance de AWS SNS Inspector Secret Manager Athena pour requter les donnes.
Si vous tes passionn par le data engineering et que vous souhaitez rejoindre une quipe dynamique nous serons ravis de recevoir votre candidature !
Informations supplmentaires :
Chez SEGULA Technologies diversit quit et inclusion sont au cur de notre politique RH. Nos mtiers sont ouverts tous et toutes sans considration de genre dorigine sociale et culturelle dorientation sexuelle de convictions religieuses ou de handicap et ce quelle que soit la nature de celuici.
Remote Work :
No
Employment Type :
Fulltime
Employment Type
Full-time
