Um job Python lê milhões de arquivos de clientes no Cloud Storage; requisito regulatório: excluir os dados do cliente imediatamente quando o job terminar. Minimize o tempo total de conclusão. O que você deve fazer?

A exclusão em massa usando a API do Cloud Storage é a opção mais eficiente para remover milhões de arquivos rapidamente. As solicitações em lote reduzem a sobrecarga de rede e processamento, minimizando o tempo total de conclusão. Configurar uma regra de Gerenciamento de Ciclo de Vida de Objeto (Object Lifecycle Management) não atende ao requisito de exclusão imediata ao final do job, pois as regras são avaliadas periodicamente e não sob demanda. Remover o bucket do console do Google Cloud é uma ação manual e não programática, além de apagar o bucket inteiro, o que pode não ser o desejado se o bucket for reutilizado. Executar gcloud storage rm --recursive é uma boa opção para exclusão programática, mas a API do Cloud Storage com solicitações em lote geralmente oferece melhor desempenho para um volume tão grande de arquivos, pois a CLI pode ter limitações de taxa ou desempenho em escala massiva.