Mission · 2026 Mission phare

Migration vers un cloud de confiance (grand groupe industriel)

Secteur
Industrie
Rôle
Data Engineer
Année
2026
Employeur
Thélio
Thèmes
Migration, DataOps et gouvernance

Migration de la plateforme data (architecture de data products multi-dépôts) d'un grand groupe industriel de Trino vers BigQuery sur un cloud de confiance, sans accès à l'IA générative pour les équipes de développement du client (contrainte de sécurité).

1 000+ modèles dbt95 %+ automatisés~5 % revue manuelle

Réalisations

  • Pilotage du POC puis de la migration de plus de 1 000 modèles dbt de Trino vers BigQuery, avec un outillage sans IA embarquée.
  • Conception d'un CLI Python de migration (sqlglot et règles métier), développé avec un assistant IA de code, automatisant plus de 95 % des modèles ; l'outil livré est déterministe et ne dépend d'aucune IA.
  • Rapports d'écarts Markdown et JSON ciblant les quelque 5 % de requêtes à revoir manuellement (cas sémantiques complexes).
  • Validation de l'équivalence des données avec dbt_audit_helper : données strictement identiques entre Trino et BigQuery sur les modèles comparés, aucune régression constatée.
  • Refonte des macros dbt, ateliers d'architecture data (conventions de nommage, nouveaux environnements), orchestration Dagster, intégration CI/CD avec l'équipe DevOps. Prévu : former l'équipe de data engineers au CLI et accompagner la passation vers BigQuery.

Stack

PythonSQL (Trino, BigQuery)dbt Coredbt_audit_helpersqlglotDagsterS3NS (GCP)GitCI/CD
Repères : DataOps, data product, dbt, ELT, Medallion, ODCS, RLS
DataOps
Pratiques d’ingénierie (versionnement, tests, CI/CD, monitoring) appliquées aux pipelines de données.
Data product
Jeu de données géré comme un produit : propriétaire identifié, contrat, qualité surveillée et documentation.
dbt
Outil de transformation en SQL, versionné et testé, qui construit les tables d’analyse dans l’entrepôt de données.
ELT
Charger d’abord les données brutes, puis les transformer dans l’entrepôt, avec la puissance de calcul du cloud.
Medallion (Bronze, Silver, Gold)
Organisation des données en couches : brutes (Bronze), nettoyées et historisées (Silver), prêtes pour le métier (Gold).
ODCS (Open Data Contract Standard)
Format ouvert qui décrit un jeu de données : champs, types, sensibilité, règles de qualité.
RLS (Row-Level Security)
Droits d’accès par ligne : chaque utilisateur ne voit que les données qui le concernent.

← Toutes les missions