Você carregou 5 anos de logs no Cloud Storage e encontrou valores fora do intervalo indicando erros. Você deve corrigir os valores, manter os originais para conformidade e ser capaz de executar novamente o processo. O que você deve fazer?

A opção correta é criar um pipeline do Dataflow que lê do Cloud Storage, corrige os valores e grava em um novo conjunto de dados. Isso atende a todos os requisitos: o Dataflow é ideal para processamento de dados em larga escala, permitindo a correção dos valores. Gravar em um novo conjunto de dados no Cloud Storage garante que os dados originais sejam mantidos para conformidade e que o processo possa ser reexecutado sem sobrescrever dados. Importar para o BigQuery e ignorar linhas com erros não corrige os dados, apenas os filtra. Criar uma instância do Compute Engine para copiar e ignorar linhas é ineficiente e não corrige os dados. Gravar de volta no mesmo conjunto de dados no Cloud Storage sobrescreveria os dados originais, violando o requisito de conformidade e impedindo a reexecução com os dados originais.