Diseñe la ingesta para 20 millones de vehículos que producen registros de 600 bytes cada segundo (~40 TB/hora). ¿Cómo deberían los vehículos enviar datos a GCP?

La opción correcta es publicar datos directamente en Google Cloud Pub/Sub. Pub/Sub es un servicio de mensajería asíncrona altamente escalable y duradero, ideal para la ingesta de datos de telemetría de millones de dispositivos. Puede manejar el alto volumen de 40 TB/hora y desacopla a los productores (vehículos) de los consumidores (servicios de procesamiento de datos en GCP). Escribir datos directamente en Google Cloud Storage desde los vehículos no es ideal porque Cloud Storage está diseñado para objetos grandes y no para flujos de datos continuos y pequeños de millones de fuentes, lo que generaría una sobrecarga de solicitudes y una gestión compleja de archivos. Transmitir datos directamente a Google BigQuery desde los vehículos no es práctico; BigQuery está optimizado para análisis de grandes volúmenes de datos, no para la ingesta directa de flujos de datos de millones de fuentes, y requeriría una autenticación y gestión de conexiones complejas en cada vehículo. Continuar usando el sistema de ingesta basado en FTP existente no es escalable ni eficiente para este volumen y velocidad de datos, y carece de la resiliencia y las características de procesamiento en tiempo real que ofrece Pub/Sub.