Duas tabelas relacionais de um banco de dados de 10 TB precisam de transações horizontalmente escaláveis e consultas de intervalo otimizadas em colunas que não são chaves. Qual armazenamento e otimização você deve usar?

O Cloud Spanner é a escolha ideal porque é um banco de dados relacional distribuído globalmente, projetado para escalabilidade horizontal massiva e transações ACID. Ele pode lidar facilmente com os 10 TB de dados e as necessidades de escalabilidade. A adição de índices secundários é crucial para otimizar consultas de intervalo em colunas que não são chaves, melhorando significativamente o desempenho da leitura sem exigir reestruturação de dados complexa. O Cloud SQL não é a melhor opção, pois, embora seja um banco de dados relacional, sua escalabilidade horizontal é mais limitada em comparação com o Spanner, e 10 TB de dados podem ser um desafio para ele em termos de desempenho e gerenciamento de transações distribuídas. O uso do Cloud Dataflow para transformar dados seria uma solução para ETL, não para otimização de consultas em tempo real em um banco de dados transacional.