Necesita una limpieza casi en tiempo real de los datos de anuncios para identificar puntos de cola larga y atípicos antes de alimentar los modelos de IA y el análisis. ¿Qué debería usar?

Dataflow es una herramienta excelente para el procesamiento de datos en tiempo real y casi en tiempo real, lo que lo hace ideal para la limpieza de datos de anuncios y la identificación de valores atípicos. Puede procesar grandes volúmenes de datos de forma escalable y programática. BigQuery es un almacén de datos analítico sin servidor y altamente escalable que es perfecto como destino para los datos limpios, listos para el análisis y los modelos de IA. Cloud Storage con scripts de shell no es una solución en tiempo real y carece de la escalabilidad y las capacidades de procesamiento de Dataflow. BigQuery es un almacén de datos y una herramienta analítica potente, pero no está diseñado para la ingesta y preparación de datos en tiempo real a la escala necesaria para este caso de uso. Cloud Composer (Apache Airflow) es una herramienta de orquestación de flujos de trabajo, no una plataforma de procesamiento de datos en tiempo real para la identificación de valores atípicos.