Uma fábrica produz um único arquivo de log diário às 02:00. Você tem um job do Cloud Dataflow para processá-lo uma vez por dia da forma mais barata possível. O que você deve fazer?

A opção de criar um job Cron do App Engine para acionar o job do Cloud Dataflow diariamente é a mais eficiente e econômica. O App Engine Cron Service é uma solução gerenciada e gratuita para agendamento de tarefas, ideal para invocar jobs do Dataflow que precisam ser executados em horários específicos. Mudar para o Cloud Dataproc seria mais caro e complexo, pois o Dataflow já é adequado para o processamento em lote. Iniciar o job manualmente todos os dias é inviável e propenso a erros. Converter para streaming é desnecessário e mais custoso, já que o arquivo de log é gerado apenas uma vez ao dia e o processamento imediato não é um requisito.