Dans cet épisode, on revient sur l’évolution de la data-ingénierie à travers deux outils : DBT et SQLMesh. Comment ces outils ont émergé avec la montée en puissance du SQL dans les architectures modernes ? Comment ils répondent aux enjeux de modélisation, d’industrialisation et de gouvernance de la donnée ? L’épisode est aussi l’occasion d’aborder l’évolution des métiers de la data, notamment l’émergence du rôle d’analytic engineer, à la croisée des chemins entre data engineering et data analytics.
- La révolution du SQL modulaire
→ Retour sur l’historique du SQL dans l’analytique moderne, l’explosion du SQL dans les moteurs cloud et les limites des requêtes monolithiques. - DBT
→ Origine de DBT, philosophie “analyst-friendly”, séparation entre DBT Core et DBT Cloud, gestion du versioning, testing, documentation, templating avec Jinja. - Le rôle d’Analytic Engineer
→ Mutation des équipes BI vers plus d’autonomie technique, convergence entre modélisation métier et industrialisation. - Pourquoi SQLMesh ?
→ Introduction à SQLMesh comme alternative à DBT, positionnement technique, différences d’usage, réflexion sur les cas d’adoption.
Retrouvez les épiosodes et show notes sur https://bigdatahebdo.com
-----------------
Cette publication est sponsorisée par Datatask (https://datatask.io/) et CerenIT (https://www.cerenit.fr/) .
CerenIT (https://www.cerenit.fr/) vous accompagne pour concevoir, industrialiser ou automatiser vos plateformes mais aussi pour faire parler vos données temporelles. Ecrivez nous à contact@cerenit.fr (https://cerenit.fr) et retrouvez-nous aussi au Time Series France (https://www.timeseries.fr/) .
Datatask (https://datatask.io/) vous accompagne dans tous vos projets Cloud et Data, pour Imaginer, Expérimenter et Executer vos services ! Consultez le blog de Datatask (https://datatask.io/blog/) pour en savoir plus.
Le générique a été composé et réalisé par Maxence Lecointe
