Diseñe un pipeline de data lake altamente disponible y resiliente para millones de sensores IoT que transmiten datos estructurados y no estructurados. ¿Qué debería hacer?

La opción correcta aprovecha Pub/Sub por su escalabilidad y durabilidad para ingestar millones de eventos IoT. Dataflow es ideal para el procesamiento de datos en tiempo real o por lotes, incluyendo transformaciones y enriquecimiento, antes de almacenar los datos. Cloud Storage ofrece un almacenamiento de objetos altamente disponible y rentable, adecuado para datos estructurados y no estructurados de un data lake. Las otras opciones son menos óptimas: Usar Storage Transfer Service para enviar datos a BigQuery desde Pub/Sub no es un patrón común para ingesta en tiempo real; Storage Transfer Service es para transferencias de datos a gran escala y por lotes. Transmitir directamente a Dataflow no es el patrón de ingesta inicial más robusto para eventos IoT; Pub/Sub actúa como un búfer desacoplado. Dataprep by Trifacta es para preparación de datos interactiva, no para ingesta de streaming. Bigtable es para datos de baja latencia y alta concurrencia, no para un data lake general. Transmitir a Dataflow y usar Storage Transfer Service para enviar a BigQuery combina los errores anteriores.