Je gaat een model bouwen met BigQuery ML en hosten op Vertex AI. Vendorstreams komen continu binnen en kunnen ongeldige waarden bevatten. Wat moet je doen voor near-realtime verwerking en sanering vóór BigQuery?

De correcte aanpak is om Pub/Sub te gebruiken voor het opvangen van de continue datastromen van vendors. Pub/Sub is een schaalbare messaging-service die geschikt is voor near-realtime data-ingestie. Vervolgens is Dataflow de meest geschikte service voor het verwerken en saneren van deze gegevens. Dataflow biedt krachtige mogelijkheden voor streamverwerking (ETL) en kan de onbewerkte data uit Pub/Sub transformeren, ongeldige waarden opschonen en de gesaneerde data naar BigQuery streamen. De optie om direct naar BigQuery te streamen met streaming inserts is minder ideaal omdat BigQuery zelf geen ingebouwde robuuste sanerings- en transformatiemogelijkheden heeft voor complexe streamverwerking. Een Cloud Function kan wel saneren, maar is minder geschikt voor hoge volumes en complexe transformaties vergeleken met Dataflow. Een BigQuery ML-model direct op "ingestion"-data trainen zonder voorafgaande sanering leidt tot slechte modelprestaties door de ongeldige waarden.