Progettare un sistema cloud-native per l'elaborazione di dati storici: dati in CSV, Avro, PDF; accesso tramite Dataproc, BigQuery, Compute Engine; ingestione batch giornaliera; prestazioni non critiche; massimizzare la disponibilità. Come si dovrebbero archiviare i dati?

L'opzione corretta massimizza la disponibilità e supporta i requisiti di accesso. L'archiviazione dei dati in un bucket Cloud Storage multi-regionale offre la massima disponibilità e resilienza, proteggendo i dati da interruzioni regionali. Cloud Storage supporta nativamente vari formati di file (CSV, Avro, PDF) e consente l'accesso diretto da Dataproc, BigQuery e Compute Engine senza costi di trasferimento dati aggiuntivi all'interno della stessa regione. Le altre opzioni sono meno ideali: Un cluster Dataproc con HDFS non è una soluzione di archiviazione cloud-native per dati storici e non offre la disponibilità intrinseca di Cloud Storage. Archiviare tutti i dati in BigQuery è costoso per i dati grezzi e non strutturati (come PDF) e non è l'uso primario di BigQuery. Un bucket Cloud Storage regionale offre una buona disponibilità, ma un bucket multi-regionale è superiore per massimizzare la disponibilità, come richiesto.