Tiene archivos grandes y no estructurados en varios formatos y necesita que estén accesibles en Google Cloud para un trabajo ETL de Dataflow. ¿Dónde debería colocar los archivos?

Cloud Storage es el servicio ideal para almacenar grandes archivos no estructurados debido a su escalabilidad, durabilidad y bajo costo. Es compatible con una amplia variedad de formatos de archivo y se integra directamente con Dataflow para el procesamiento ETL. La herramienta gcloud storage es la interfaz de línea de comandos recomendada para interactuar con Cloud Storage. Subir los archivos a BigQuery no es adecuado porque BigQuery es un almacén de datos analítico columnar, optimizado para datos estructurados y consultas SQL, no para el almacenamiento de archivos no estructurados. Cloud SQL y Cloud Spanner son bases de datos relacionales, diseñadas para datos estructurados y transaccionales, no para el almacenamiento eficiente de grandes volúmenes de archivos no estructurados.