Je moet Pub/Sub-berichten precies één keer verwerken en de resultaten opslaan met de eenvoudigste en goedkoopste aanpak. Wat moet je doen?

De correcte optie is het verwerken van berichten met een Dataflow streaming pipeline met behulp van Apache Beam's PubSubIO-pakket en de uitvoer naar opslag schrijven. Dataflow biedt ingebouwde ondersteuning voor exactly-once verwerking met Pub/Sub, wat cruciaal is voor betrouwbare gegevensverwerking. Het gebruik van Apache Beam's PubSubIO-pakket vereenvoudigt de integratie en zorgt voor efficiënte verwerking. Deze aanpak is ook kosteneffectief omdat Dataflow een volledig beheerde service is die automatisch schaalt. Het verwerken met een Dataproc-taak is minder geschikt voor streaming en exactly-once garanties. Een Cloud Function kan berichten verwerken, maar deduplicatie in BigQuery achteraf is complexer en duurder dan de ingebouwde mogelijkheden van Dataflow. Twee Dataflow pipelines en Cloud Bigtable introduceren onnodige complexiteit en hogere kosten voor deduplicatie.