Senior Data Engineer Spark Scala Kafka HF
صاحب العمل نشط
حالة تأهب وظيفة
سيتم تحديثك بأحدث تنبيهات الوظائف عبر البريد الإلكتروني
شارك هذه الوظيفة
حالة تأهب وظيفة
سيتم تحديثك بأحدث تنبيهات الوظائف عبر البريد الإلكتروني
لم يكشف
لم يتم الكشف عن الراتب
1 وظيفة شاغرة
الوصف الوظيفي
Data Engineer Spark Scala Kafka@ Devoteam Data Driven.
Dans un monde o les sources de donnes sont en constante volution Devoteam Data Driven aide ses clients transformer leurs donnes en informations exploitables et les rendre ainsi impactantes pour plus de valeur business.
Data Driven adresse les 3 grandes dimensions suivantes : Data Strategy Data for Business et Data Foundation en appui dexpertise chez ses clients pour les rendre encore plus performants et comptitifs au quotidien.
Tu rejoindras les quipes de la tribu Data Foundation : une quipe enthousiaste de Data Engineers de Data Ops de Tech lead architectes et de chefs de projets travaillant sur les plateformes et lcosystme Data : designer construire et moderniser les plateformes et solutions Data concevoir les data pipelines en mettant laccent sur lagilit et le DevOps appliqu la Data.
Tu seras le maillon essentiel pour fournir les donnes fiables et valorises aux mtiers leur permettant de crer leurs nouveaux produits et services et tu appuieras aussi les quipes Data Science en leur fournissant les environnements de donnes datalab ncessaires pour mener bien leurs dmarches exploratoires dans llaboration et lindustrialisation de leurs modles savoir :
- Concevoir dvelopper et maintenir des pipelines de donnes efficaces pour extraire transformer et charger les donnes de diffrentes sources vers des systmes de stockage de donnes de type Lakehouse (datalake datawarehouse)
- crire du code Scala souvent associ Apache Spark pour ses fonctionnalits concises et expressives afin de raliser des transformations complexes sur de grands volumes de donnes
- Sappuyer sur les fonctionnalits offertes par Apache Spark telles que les transformations et les actions distribues pour traiter les donnes grande chelle de manire rapide et efficace
- Identifier et rsoudre les problmes de performance dans les pipelines de donnes en optimisant les requtes Spark en ajustant la configuration de Spark et en mettant en uvre les meilleures pratiques.
- Collaborer avec dautres quipes pour intgrer les pipelines de donnes avec des bases de donnes SQL noSQL du streaming Kafka des systmes de fichiers de type buckets
- Si besoin concevoir et mettre en uvre des pipelines de traitement des donnes en temps rel en utilisant les fonctionnalits de streaming de Spark
- Mettre en uvre les mcanismes de scurit pour protger les donnes sensibles en utilisant les fonctionnalits dauthentification dautorisation RBAC/ABAC de chiffrement danonymisation des donnes
- Documenter le code les pipelines de donnes les schmas de donnes et les dcisions de conception pour assurer leur comprhension et maintenabilit
- Mettre en place les tests unitaires et dintgration pour assurer la qualit du code et dboguer les problmes ventuels dans les pipelines de donnes
Tu donneras ta pleine mesure par la matrise de tes fondamentaux techniques ta connaissance sur le bout des doigts des donnes que tu traites et que tu manipules et surtout en affirmant ta volont comprendre les besoins et le mtier pour lequel tu travailleras.
Ton terrain de jeu : la distribution lnergie la finance lindustrie la sant et les transports avec plein de cas dusage et de nouveaux dfis Data relever ensemble notamment la Data dans le Cloud.
Qualifications :
- Diplme dingnieur ou quivalent
- Expert dans le domaine de la Data : 5 ans dexprience
- Matrise et pratique avre de Apache Spark
- Matrise et pratique avre de Scala
- Pratique de Python et pySpark
- Connaissance et pratique des outils dorchestration tels Apache Oozie Apache Airflow Databricks Jobs
- Des certifications seront un plus spcialement sur Spark Databricks Azure GCP
- Matrise des principes ETL/ELT
- Pratique des outils ETL/ELT tels Talend Data Integration Apache Nifi dbt sont un plus
- Pratique de Kafka et Spark Streaming sont un plus aussi
- Une bonne connaissance des API Rest et microservices
- Matrise des outils dintgration CI/CD (Jenkins Gitlab) et du travail en mode agile
- Un excellent relationnel tu aimes travailler en quipe
- Un sens prononc du service et engag dans tes activits
- Savoir communiquer et couter en toutes circonstances et crire sans fautes
- and you are fluent in english indeed !
Informations supplmentaires :
Remote Work :
No
Employment Type :
Fulltime
نوع التوظيف
دوام كامل
