Les données entrantes sont écrites dans BigQuery mais sont "sales" ; vous avez besoin d'un processus automatisé quotidien de nettoyage et de contrôle qualité des données qui maîtrise les coûts. Que devriez-vous implémenter ?

Cloud Dataprep est un service sans serveur conçu pour la préparation visuelle des données, le nettoyage et la transformation. Il s'intègre nativement avec BigQuery et permet de planifier des jobs quotidiens, ce qui répond directement aux exigences de nettoyage automatisé et de maîtrise des coûts. Un job Cloud Dataflow en streaming est plus adapté au traitement en temps réel et serait surdimensionné et plus coûteux pour un processus quotidien. Une Cloud Function pour lire et nettoyer BigQuery nécessiterait un développement personnalisé important et une gestion de l'infrastructure (Compute Engine pour le déclenchement), augmentant la complexité et les coûts. Une vue SQL dans BigQuery ne nettoie pas les données de manière persistante et ne permet pas de transformations complexes facilement, et l'exécution quotidienne pour enregistrer dans une nouvelle table est moins efficace et moins riche en fonctionnalités que Dataprep pour le nettoyage.