Debe ingerir datos con resolución de minutos de 50 000 sensores, escalar para el crecimiento y tener los datos disponibles en 1 minuto para agregaciones en tiempo real. ¿Qué enfoque de ingesta utiliza?

Un pipeline de Cloud Dataflow es la opción más adecuada porque está diseñado para el procesamiento de datos en streaming a gran escala, lo que permite la ingesta de datos de 50 000 sensores con resolución de minutos y una latencia de un minuto. Dataflow puede escalar automáticamente para manejar el crecimiento. Cargar datos por lotes con bq load o INSERT cada 60 segundos podría introducir latencia y no escalar eficientemente para el volumen de datos de streaming. La instrucción MERGE no es ideal para la ingesta de streaming de nuevos datos, ya que está diseñada para actualizaciones o inserciones condicionales en lotes existentes.