Projete um pipeline de dados que autoescale, entregue processamento de "pelo menos uma vez" (at-least-once) e preserve a ordem das mensagens em janelas de 1 hora. Qual arquitetura você deve usar?

A combinação de Cloud Pub/Sub e Cloud Dataflow é a mais adequada. O Cloud Pub/Sub oferece ingestão de mensagens escalável e durável, garantindo a entrega "pelo menos uma vez". O Cloud Dataflow, baseado no Apache Beam, é um serviço totalmente gerenciado que autoescala e suporta processamento de janelas, incluindo a preservação da ordem das mensagens dentro dessas janelas, que é um requisito fundamental. Apache Kafka e Cloud Dataproc não são as melhores opções. Embora o Kafka possa fornecer entrega "pelo menos uma vez", o gerenciamento de sua escalabilidade e a garantia da ordenação dentro de janelas de 1 hora com o Dataproc (que é mais voltado para processamento em lote ou streaming com ferramentas como Spark Streaming) seriam mais complexos e exigiriam mais esforço operacional do que com o Dataflow. O Cloud Pub/Sub é um serviço gerenciado que simplifica a ingestão em comparação com a autogerência do Kafka.