Un impianto di produzione genera un singolo file di log giornaliero alle 02:00. Hai un job Cloud Dataflow per elaborarlo una volta al giorno nel modo più economico possibile. Cosa dovresti fare?

La creazione di un job Cron di App Engine per attivare Cloud Dataflow quotidianamente è la soluzione più economica ed efficiente. Un job Cron consente di programmare l'esecuzione di un job Dataflow batch una volta al giorno all'orario desiderato (ad esempio, dopo la generazione del file di log), garantendo l'elaborazione del file giornaliero. Passare a Cloud Dataproc potrebbe essere più costoso e complesso da gestire per un'elaborazione giornaliera semplice. Avviare manualmente il job ogni mattina non è automatizzato e non garantisce l'esecuzione puntuale o l'affidabilità. Convertire il job Dataflow in streaming non è necessario né economico per un singolo file di log generato una volta al giorno; lo streaming è più adatto per dati in tempo reale o quasi in tempo reale.