Os dados de entrada são gravados no BigQuery, mas estão sujos; você precisa de um processo automatizado diário de qualidade/limpeza de dados que controle os custos. O que você deve implementar?

A opção correta é usar o Cloud Dataprep. O Dataprep é uma ferramenta sem servidor e totalmente gerenciada, ideal para exploração, limpeza e preparação de dados. Ele permite definir transformações de dados visualmente, sem código, e agendar jobs diários para processar os dados sujos do BigQuery, gerando dados limpos em uma nova tabela. Isso atende aos requisitos de automação diária e controle de custos, pois você paga apenas pelo uso. As outras opções são menos adequadas: Um job de streaming do Cloud Dataflow é para dados em tempo real, não para processamento diário de dados já gravados. Uma Cloud Function acionada por Compute Engine é uma solução mais complexa e cara para orquestração, e a Cloud Function pode ter limites de tempo de execução e memória para grandes volumes de dados. Uma instrução SQL como view no BigQuery pode limpar dados, mas não é uma ferramenta de qualidade de dados dedicada e pode ser menos eficiente ou flexível para transformações complexas que o Dataprep oferece.