Tiene 20 TB de archivos de texto CSV y varios usuarios ejecutarán consultas agregadas utilizando varios motores; ¿qué servicio de almacenamiento y esquema minimizan el costo de la consulta?

La opción correcta es almacenar en Cloud Storage y exponer como tablas externas permanentes en BigQuery. Cloud Storage es un servicio de almacenamiento de objetos de bajo costo y alta durabilidad, ideal para grandes volúmenes de datos como 20 TB de CSV. Exponer estos datos como tablas externas permanentes en BigQuery permite a múltiples usuarios ejecutar consultas agregadas directamente sobre los archivos en Cloud Storage sin necesidad de cargarlos en el almacenamiento gestionado de BigQuery, lo que minimiza los costos de consulta al pagar solo por los datos escaneados. Almacenar en Cloud Bigtable no es adecuado para archivos CSV, ya que es una base de datos NoSQL de columnas anchas optimizada para cargas de trabajo de baja latencia y alto rendimiento, no para almacenamiento de archivos CSV y consultas agregadas ad-hoc. Las tablas temporales en BigQuery requerirían recrear la definición de la tabla en cada sesión, lo cual es ineficiente para múltiples usuarios y consultas repetidas.