Para archivos de texto muy grandes que deben admitir ANSI SQL, compresión y carga paralela según las mejores prácticas de Google, ¿qué pipeline de almacenamiento/formato debería usar?

La opción correcta es convertir los archivos de texto a Avro comprimido usando Cloud Dataflow, almacenarlos en Cloud Storage y exponerlos a BigQuery como tablas externas permanentes. Avro es un formato de archivo binario, particionable y comprimible que es ideal para el procesamiento paralelo y la consulta eficiente. Cloud Dataflow es una herramienta excelente para la transformación de datos a gran escala. Almacenar los archivos en Cloud Storage es rentable y escalable. Exponerlos como tablas externas permanentes en BigQuery permite consultar los datos directamente desde Cloud Storage utilizando ANSI SQL sin tener que cargarlos completamente en BigQuery, lo que optimiza el almacenamiento y los costos. Las otras opciones son incorrectas porque: Cargar directamente en BigQuery puede ser costoso para archivos muy grandes si los datos no se consultan con frecuencia, y Avro en Cloud Storage con tablas externas es más flexible. Usar gzip con herramientas de computación en grid no es la práctica recomendada de Google Cloud para el procesamiento de datos a gran escala y no ofrece las ventajas de un formato columnar o binario como Avro. Cloud Bigtable no es adecuado para consultas SQL ad-hoc sobre archivos de texto, ya que es una base de datos NoSQL optimizada para cargas de trabajo de baja latencia y alto rendimiento.