Sie erstellen ein Modell mit BigQuery ML und hosten es auf Vertex AI. Anbieter-Streams treffen kontinuierlich ein und können ungültige Werte enthalten. Was sollten Sie für die Near-Real-Time-Verarbeitung und Bereinigung vor BigQuery tun?

Die korrekte Antwort ist, ein Pub/Sub-Thema zu erstellen und alle Anbieterdaten dorthin zu senden, dann Dataflow zu verwenden, um die Pub/Sub-Daten zu verarbeiten, zu bereinigen und nach BigQuery zu streamen. Dies ist die beste Lösung, da Pub/Sub eine skalierbare und zuverlässige Messaging-Schicht für Near-Real-Time-Datenströme bietet. Dataflow ist ein vollständig verwalteter Dienst für die Verarbeitung und Transformation großer Datenmengen, der ideal für die Bereinigung ungültiger Werte und das Streaming in BigQuery ist. Die anderen Optionen sind weniger geeignet: Das direkte Landen von Daten in BigQuery über Streaming-Inserts ohne vorherige Bereinigung würde ungültige Daten in Ihr Dataset einführen. Die Verwendung einer Cloud Function für die Datenverarbeitung und -bereinigung könnte bei hohem Datenvolumen oder komplexen Transformationen an Skalierbarkeitsgrenzen stoßen.