Description
- R aliser les flux de donn es en batch (ETL ou ELT) ou en flux continu (Data Streaming)
- R aliser les traitements de transformation (calcul et mise en application des r gles d affaires) et de validation de la qualit
- Documentation n cessaire et suffisante
Capacit s de travail en quipe
- Travail en mode projet livraison de l quipe data de Logient
- Suivre les consignes de l architecte de solutions analytiques
Capacit s de travail dans un environnement infonuagique
- Ma trise des m thodes de d veloppement optimiser pour des environnements infonuagiques (minimiser les co ts des traitements et du d veloppement sur de large volume) r flexion d optimisation priori et non posteriori
Comp tences analytiques
- laboration de flux optimiser en batch de type ETL et ELT
- laboration de flux optimiser en continu (Data Streaming) par gestion d venement
- laboration de flux d insertion de donn es en gestion des SCD (slowly changing dimension) historisation des changements en type 2 (historisation en ligne) 3 (historisation en colonne) et 4 (historisation en m me temps en ligne et en colonne).
- laboration de traitements de validation de la qualit des donn es
- laboration de traitements de calcul par partition au sein d une base de donn es op rationnel et une base de donn es analytique
- laboration de traitements avec calcul g ospatial
Exp riences
- Niveau S nior (Expert S nior Interm diaire Junior N ophyte D butant)
- Au moins 5 projets diff rents dans des entreprises de diff rentes tailles et diff rents secteurs obligatoire
- Bilingue Anglais et Fran ais
Connaissances techniques
- Ma trise d AWS Glue obligatoire
- Ma trise de Spark obligatoire
- Ma trise d AWS EventBridge obligatoire
- Ma trise de SQL Server au sein d Amazon RDS obligatoire
- Ma trise de Azure DevOps obligatoire
- Ma trise de l environnement Azure un atout