Diseñe un pipeline de datos que se autoescale, ofrezca procesamiento al menos una vez y preserve el orden de los mensajes en ventanas de 1 hora. ¿Qué arquitectura debería usar?

Cloud Pub/Sub es un servicio de mensajería completamente administrado y escalable que garantiza la entrega de mensajes al menos una vez y mantiene el orden dentro de una región, lo que lo hace ideal para la ingesta. Cloud Dataflow es un servicio de procesamiento de datos completamente administrado que se autoescala y soporta el procesamiento de ventanas, incluyendo ventanas de 1 hora, con garantías de procesamiento al menos una vez. Juntos, cumplen con todos los requisitos. Apache Kafka y Cloud Dataproc requieren más gestión y configuración para el autoescalado y las garantías de procesamiento. Cloud Dataproc, aunque potente, es un servicio de clústeres gestionados que no ofrece el mismo nivel de autoescalado sin servidor que Dataflow para cargas de trabajo de streaming.