Tiene archivos grandes no estructurados en varios formatos y necesita que sean accesibles para un trabajo de ETL de Dataflow. ¿Dónde debería colocar los datos?

Cloud Storage es la solución ideal para almacenar grandes volúmenes de datos no estructurados de diversos formatos, como los que se usarían en un trabajo de ETL (Extract, Transform, Load) de Dataflow. Dataflow puede leer directamente desde Cloud Storage, lo que facilita el procesamiento de estos archivos. La herramienta gsutil es la interfaz de línea de comandos estándar para interactuar con Cloud Storage, permitiendo la carga eficiente de archivos. Subir a BigQuery usando la CLI de bq no es adecuado porque BigQuery es un almacén de datos analítico para datos estructurados, no para el almacenamiento directo de archivos no estructurados. Importar a Cloud SQL o Cloud Spanner tampoco es correcto, ya que son bases de datos relacionales diseñadas para datos estructurados y no son óptimas para almacenar archivos grandes y no estructurados destinados a un pipeline de Dataflow.