Ontwerp een datapijplijn die automatisch schaalt, at-least-once verwerking levert en de volgorde van berichten binnen vensters van 1 uur behoudt. Welke architectuur moet u gebruiken?

De juiste architectuur is Cloud Pub/Sub voor opname en Cloud Dataflow voor streaming-analyse. Cloud Pub/Sub is een volledig beheerde, schaalbare berichtenservice die automatisch schaalt en at-least-once levering garandeert. Cloud Dataflow is een volledig beheerde service voor het uitvoeren van Apache Beam-pipelines, die automatisch schaalt, at-least-once verwerking biedt en ingebouwde functionaliteit heeft voor vensterbewerkingen en het behouden van de volgorde binnen vensters. Apache Kafka is een krachtige berichtenservice, maar vereist meer beheer dan Pub/Sub. Cloud Dataproc is een beheerde Spark/Hadoop-service, maar is minder geoptimaliseerd voor streaming-analyse met at-least-once garanties en vensterbewerkingen dan Cloud Dataflow.