Devi creare un modello con BigQuery ML e ospitarlo su Vertex AI. I flussi dei fornitori arrivano continuamente e possono contenere valori non validi. Per l'elaborazione quasi in tempo reale e la sanificazione prima di BigQuery, cosa dovresti fare?

L'opzione corretta utilizza Pub/Sub per l'ingestione scalabile e asincrona dei dati da più fornitori, garantendo che i flussi continui possano essere gestiti efficacemente. Dataflow è la scelta ideale per l'elaborazione quasi in tempo reale e la sanificazione dei dati in streaming, poiché offre capacità di trasformazione flessibili e scalabili prima che i dati vengano scritti in BigQuery. Questo approccio garantisce che solo dati puliti e validi raggiungano BigQuery, ottimizzando l'efficienza del modello BigQuery ML. Le opzioni che usano direttamente gli streaming insert di BigQuery non permettono una sanificazione efficace prima dell'ingestione, il che è cruciale per dati con valori non validi. L'opzione con Cloud Functions potrebbe essere meno scalabile e più complessa da gestire per carichi di lavoro di streaming continui e ad alto volume rispetto a Dataflow.