Une nouvelle application produit environ 150 Go/jour de JSON d'ici la fin de l'année. Les exigences sont les suivantes : découpler le producteur/consommateur, un stockage brut illimité et rentable, un SQL quasi temps réel et plus de 2 ans d'historique interrogeable en SQL. Quel pipeline d'ingestion et de stockage répond à ces besoins ?

Cette option répond à toutes les exigences. Pub/Sub découple le producteur et le consommateur, offre une ingestion évolutive. Dataflow permet une transformation flexible (JSON vers Avro) et une écriture vers plusieurs destinations. Cloud Storage fournit un stockage brut illimité et rentable pour les données Avro, tandis que BigQuery offre un SQL quasi temps réel sur plus de deux ans d'historique. Les autres options sont moins adaptées : L'API avec Cloud Storage ne permet pas de SQL quasi temps réel et nécessite un poller, ce qui est moins efficace pour l'ingestion continue. Écrire directement dans Cloud SQL n'est pas idéal pour de grands volumes de JSON non structuré et la gestion de l'historique sur 2 ans serait complexe et coûteuse. L'exportation périodique vers BigQuery introduit de la latence. Dataproc avec HDFS introduit une complexité de gestion d'infrastructure et n'offre pas la même élasticité et le même modèle serverless que Dataflow pour la transformation.