Progetta una pipeline di dati che si auto-scala, offre un'elaborazione at-least-once e preserva l'ordinamento dei messaggi entro finestre di 1 ora. Quale architettura dovresti usare?

L'architettura che utilizza Cloud Pub/Sub per l'ingestione dei messaggi e Cloud Dataflow per l'analisi in streaming è la soluzione migliore. Cloud Pub/Sub offre un'ingestione di messaggi scalabile e affidabile con garanzie di consegna at-least-once. Cloud Dataflow è un servizio di elaborazione dati completamente gestito che supporta l'auto-scaling, l'elaborazione at-least-once e la gestione dell'ordinamento dei messaggi all'interno di finestre temporali, come richiesto. Le altre opzioni sono meno adatte: L'uso di Cloud Dataproc per l'analisi in streaming richiederebbe una gestione manuale dell'auto-scaling e dell'ordinamento, rendendolo meno efficiente di Dataflow. Apache Kafka, sebbene potente, richiederebbe una gestione dell'infrastruttura non necessaria rispetto a Cloud Pub/Sub, che è un servizio completamente gestito.