Ontwerp een zeer beschikbare, veerkrachtige data-lake pipeline voor miljoenen IoT-sensoren die gestructureerde en ongestructureerde data streamen. Wat moet u doen?

De correcte optie is om data naar Pub/Sub te streamen en Dataflow te gebruiken om data naar Cloud Storage te sturen. Pub/Sub is een schaalbare, asynchrone messaging-service die ideaal is voor het opnemen van miljoenen IoT-sensorgegevensstromen, wat zorgt voor hoge beschikbaarheid en veerkracht. Dataflow is een volledig beheerde service voor stream- en batchverwerking, perfect voor het transformeren en verrijken van de gestructureerde en ongestructureerde data voordat deze wordt opgeslagen. Cloud Storage is een zeer schaalbare en duurzame opslagoplossing voor data lakes. De andere opties zijn minder geschikt: Storage Transfer Service is bedoeld voor bulkdataoverdracht, niet voor real-time streaming. Dataflow is een verwerkingsservice, geen initiële ingestiebron. Dataprep is voor data-voorbereiding en -profilering, niet primair voor het streamen van data naar Bigtable.