Você tem arquivos grandes e não estruturados em vários formatos e precisa que eles estejam acessíveis no Google Cloud para um job de ETL do Dataflow. Onde você deve colocar os arquivos?

A opção correta é fazer upload dos arquivos para o Cloud Storage usando gcloud storage. O Cloud Storage é o serviço de armazenamento de objetos do Google Cloud, ideal para dados não estruturados de qualquer tamanho e formato, como os mencionados na questão. Ele oferece alta durabilidade, disponibilidade e escalabilidade, sendo a escolha padrão para armazenar dados brutos que serão processados por serviços como o Dataflow. A ferramenta gcloud storage (ou gsutil, que é o comando subjacente) é a forma CLI padrão para interagir com o Cloud Storage. As outras opções estão incorretas porque: BigQuery é um data warehouse analítico e não é projetado para armazenar arquivos brutos e não estruturados diretamente. Ele armazena dados em formato de tabela. Cloud SQL é um banco de dados relacional gerenciado e não é adequado para armazenar arquivos grandes e não estruturados. Cloud Spanner é um banco de dados distribuído globalmente, relacional e consistente, mas também não é projetado para armazenar arquivos brutos e não estruturados.