Progettare una pipeline di data-lake altamente disponibile e resiliente per milioni di sensori IoT che trasmettono dati strutturati e non strutturati. Cosa si dovrebbe fare?

La risposta corretta è "Trasmettere i dati a Pub/Sub e utilizzare Dataflow per inviare i dati a Cloud Storage". Pub/Sub è un servizio di messaggistica asincrono e scalabile, ideale per l'ingestione di grandi volumi di dati da sensori IoT, garantendo alta disponibilità e resilienza. Dataflow è un servizio completamente gestito per l'elaborazione di dati in streaming e batch, perfetto per trasformare e instradare i dati in modo affidabile. Cloud Storage è una soluzione di archiviazione di oggetti scalabile e duratura, adatta per un data lake che deve gestire sia dati strutturati che non strutturati. Le altre opzioni sono meno appropriate. Utilizzare Storage Transfer Service per inviare dati da Pub/Sub a BigQuery non è l'approccio standard per lo streaming continuo; Storage Transfer Service è più adatto per trasferimenti di massa da fonti esterne o tra bucket. Inviare dati direttamente a Dataflow come punto di ingresso iniziale non è l'uso tipico, poiché Dataflow elabora i dati che gli vengono forniti da una fonte come Pub/Sub. Bigtable è un database NoSQL per carichi di lavoro analitici e operativi, ma per un data lake che gestisce dati sia strutturati che non strutturati, Cloud Storage è più flessibile e conveniente come destinazione primaria.