È necessario acquisire dati con risoluzione al minuto da 50.000 sensori, scalare per la crescita e rendere i dati disponibili entro 1 minuto per aggregazioni in tempo reale. Quale approccio di acquisizione si utilizza?

Una pipeline Cloud Dataflow è la soluzione più adatta perché è progettata per l'elaborazione di flussi di dati in tempo reale e su larga scala. Può gestire l'ingestione continua da 50.000 sensori, garantendo che i dati siano disponibili entro 1 minuto per le aggregazioni. Le altre opzioni non sono ideali per questo caso d'uso. bq load è per l'ingestione batch e introdurrebbe latenza. Le istruzioni INSERT e MERGE sono inefficienti per l'ingestione ad alto volume e in tempo reale, poiché ogni operazione comporterebbe un overhead significativo e non scalerebbe per 50.000 sensori con risoluzione al minuto.