Pour un pipeline qui lit du JSON depuis Pub/Sub, le transforme et l'écrit dans BigQuery avec un coût minimal et une gestion automatique du volume d'entrée variable, quel service et quelle approche de mise à l'échelle devriez-vous choisir ?

L'option correcte est d'utiliser Cloud Dataflow avec l'autoscaling par défaut et la surveillance du backlog via Stackdriver. Dataflow est un service entièrement géré pour l'exécution de pipelines de traitement de données, offrant une gestion automatique des ressources et un autoscaling intégré, ce qui est idéal pour gérer un volume d'entrée variable avec un coût minimal. La surveillance du backlog des tâches dans Stackdriver permet de s'assurer que le pipeline traite les données efficacement. Les options utilisant Cloud Dataproc sont moins optimales car Dataproc nécessite une gestion plus manuelle des clusters et des ressources, ce qui va à l'encontre de l'objectif de coût minimal et de gestion automatique du volume variable. Redimensionner manuellement ou ajuster les ressources après des diagnostics est moins efficace que l'autoscaling de Dataflow. La dernière option avec Dataflow propose de surveiller le temps d'exécution total et de configurer des types de machines non-par défaut, ce qui est une approche plus manuelle et potentiellement plus coûteuse que de laisser l'autoscaling par défaut de Dataflow gérer la charge.