Para arquivos de texto muito grandes que devem suportar ANSI SQL, compressão e carregamento paralelo, de acordo com as melhores práticas do Google, qual pipeline de armazenamento/formato você deve usar?

A opção correta utiliza o Cloud Dataflow para converter os arquivos de texto em Avro compactado, que é um formato otimizado para armazenamento e processamento de dados em larga escala, suportando schemas e compressão. Armazenar no Cloud Storage é ideal para grandes volumes de dados e baixo custo. Expor como tabelas externas permanentes no BigQuery permite consultar os dados diretamente no Cloud Storage usando ANSI SQL, sem a necessidade de carregá-los fisicamente no BigQuery, o que é eficiente para dados que não precisam ser totalmente ingeridos. As outras opções são menos ideais: carregar diretamente no BigQuery pode ser caro para dados brutos muito grandes; gzip é uma compressão genérica, não um formato de dados estruturado como Avro; e o Cloud Bigtable é um banco de dados NoSQL, não adequado para consultas SQL complexas.