Concevez un pipeline de lac de données hautement disponible et résilient pour des millions de capteurs IoT diffusant des données structurées et non structurées. Que devriez-vous faire ?

La diffusion des données vers Pub/Sub est une excellente première étape pour un pipeline IoT, car Pub/Sub est un service de messagerie distribué et hautement disponible qui peut gérer des millions de messages par seconde. L'utilisation de Dataflow est idéale pour le traitement et la transformation des données en continu, qu'elles soient structurées ou non structurées, avant de les stocker. Cloud Storage est une solution de stockage d'objets massivement évolutive et durable, parfaite pour un lac de données. Les autres options sont moins adaptées : Utiliser Storage Transfer Service pour BigQuery n'est pas idéal pour le streaming direct et le traitement des données brutes du lac de données. Diffuser vers Dataflow directement n'est pas le rôle de Dataflow ; il traite les données, il ne les ingère pas directement comme Pub/Sub. Dataprep est pour la préparation de données, pas le traitement en streaming, et Bigtable est une base de données NoSQL, pas un lac de données pour tous types de données brutes. Diffuser vers Dataflow et utiliser Storage Transfer Service pour BigQuery combine deux erreurs mentionnées précédemment.