Projete um pipeline de data lake altamente disponível e resiliente para milhões de sensores IoT transmitindo dados estruturados e não estruturados. O que você deve fazer?

A opção correta é "Transmita dados para o Pub/Sub e use o Dataflow para enviar dados para o Cloud Storage". O Pub/Sub é um serviço de mensagens assíncronas altamente disponível e escalável, ideal para ingestão de dados de milhões de sensores IoT. O Dataflow é um serviço totalmente gerenciado para processamento de dados em lote e em tempo real, que pode transformar e carregar dados no Cloud Storage, um armazenamento de objetos escalável e durável, adequado para dados estruturados e não estruturados de um data lake. A segunda opção está incorreta porque o Storage Transfer Service é usado principalmente para transferir grandes volumes de dados entre diferentes locais de armazenamento ou para importar dados para o Google Cloud, não para processamento contínuo de streams. A terceira e quarta opções estão incorretas porque o Dataflow é uma ferramenta de processamento de dados, não um serviço de ingestão inicial de mensagens como o Pub/Sub. Além disso, o Bigtable é um banco de dados NoSQL de colunas largas, mais adequado para dados de baixa latência e alto throughput, enquanto um data lake geralmente começa com armazenamento bruto no Cloud Storage.