Você tem arquivos grandes não estruturados em vários formatos e precisa que eles estejam acessíveis a um job de ETL do Dataflow. Onde você deve colocar os dados?

A resposta correta é fazer upload dos arquivos para o Cloud Storage usando gsutil. O Cloud Storage é ideal para armazenar grandes volumes de dados não estruturados de diversos formatos, servindo como um data lake escalável e durável. O Dataflow pode ler diretamente do Cloud Storage, tornando-o uma fonte de dados perfeita para jobs de ETL. A ferramenta de linha de comando gsutil é a maneira padrão e eficiente de interagir com o Cloud Storage para upload e gerenciamento de arquivos. As outras opções estão incorretas porque: O BigQuery é um data warehouse analítico para dados estruturados e semiestruturados, não para armazenamento direto de arquivos brutos não estruturados. O Cloud SQL é um banco de dados relacional para dados estruturados, não adequado para arquivos grandes e não estruturados. O Cloud Spanner é um banco de dados relacional distribuído globalmente, também para dados estruturados e não para armazenamento de arquivos brutos.