Un partner esterno rilascia quotidianamente file CSV con alcune righe malformate in GCS. È necessario caricarli in BigQuery e ispezionare le righe errate. Quale design di pipeline è appropriato?

La pipeline batch di Google Cloud Dataflow è la soluzione più appropriata perché consente di gestire le righe malformate in modo robusto. Dataflow può leggere i file CSV, applicare trasformazioni e caricare i dati validi in BigQuery, mentre le righe errate possono essere reindirizzate a una tabella "dead-letter" separata per un'analisi successiva. Questo approccio garantisce che i dati validi vengano caricati e che gli errori non vengano persi, facilitando l'ispezione e la correzione. Le origini dati federate non gestiscono l'identificazione e la separazione delle righe malformate, ma solo l'accesso ai dati esterni. Abilitare il monitoraggio di BigQuery in Stackdriver non risolve il problema del caricamento dei dati e della gestione degli errori, ma solo la notifica di eventuali problemi. L'importazione con gcloud CLI e maxbadrecords impostato a 0 farebbe fallire l'intero job al primo errore, impedendo il caricamento dei dati validi.