Construirá un modelo con BigQuery ML y lo alojará en Vertex AI. Los flujos de proveedores llegan continuamente y pueden contener valores no válidos. Para el procesamiento y la sanitización casi en tiempo real antes de BigQuery, ¿qué debe hacer?

La opción correcta es usar Pub/Sub, Dataflow y BigQuery. Pub/Sub es ideal para la ingesta de datos de streaming de múltiples fuentes. Dataflow es una herramienta potente y escalable para el procesamiento y saneamiento de datos en tiempo real, lo que permite manejar valores no válidos antes de que los datos lleguen a BigQuery. Finalmente, BigQuery es el destino óptimo para almacenar los datos limpios y listos para el entrenamiento del modelo de BigQuery ML. Las otras opciones son menos adecuadas: La primera opción no aborda el procesamiento y saneamiento en tiempo real de los datos antes de BigQuery, lo cual es crucial para los valores no válidos. La segunda opción tampoco permite el procesamiento intermedio para sanear los datos antes de la ingesta en BigQuery. La tercera opción, aunque usa Pub/Sub, Cloud Functions podría no ser la solución más escalable o rentable para el procesamiento continuo de grandes volúmenes de datos, a diferencia de Dataflow.