Projet perso · 2026
Plein Data : plateforme de prix de carburants sur Scaleway
- Migration d'une plateforme de données de prix de carburants de BigQuery vers une architecture serverless souveraine sur Scaleway.
- État de la plateforme persisté en Parquet sur l'Object Storage Scaleway (S3), avec un modèle consolidé de 55 M de lignes.
- Transformations dbt-duckdb en Jobs serverless sans état : le DuckDB est éphémère et jeté à chaque run, l'état durable est l'export Parquet. Un daily (fenêtre de 2 jours) et un reconcile mensuel fusionnent les données.
- Orchestration de 11 Jobs serverless par Scaleway Data Orchestrator, répartis en deux DAG : un daily de 7 Jobs et un monthly de 4 Jobs ; une file SQS déclenche la revue des correspondances de marques.
- Infrastructure as Code avec Terraform sur deux modules racine : Jobs serverless, conteneur, file SQS, secrets et identités de service ; décompte détaillé plus bas.