Ontwerp een cloud-native systeem voor het verwerken van historische gegevens: gegevens in CSV, Avro, PDF; toegankelijk via Dataproc, BigQuery, Compute Engine; dagelijkse batch-ingestie; prestaties niet kritiek; maximale beschikbaarheid. Hoe moet u de gegevens opslaan?

De correcte optie is het opslaan van de gegevens in een multi-regionale Cloud Storage-bucket en deze rechtstreeks te benaderen. Dit voldoet aan de vereiste van maximale beschikbaarheid, aangezien multi-regionale buckets geografische redundantie bieden. Cloud Storage is een schaalbare, duurzame en kosteneffectieve opslagoplossing die naadloos integreert met Dataproc, BigQuery en Compute Engine, waardoor directe toegang tot de diverse gegevensformaten (CSV, Avro, PDF) mogelijk is. Het maken van een Dataproc-cluster met hoge beschikbaarheid en het opslaan van gegevens in HDFS is minder optimaal omdat HDFS niet ontworpen is voor langdurige, externe opslag en de beschikbaarheid afhankelijk is van het cluster zelf. Het opslaan van gegevens in BigQuery is niet ideaal voor alle formaten (zoals PDF) en kan duurder zijn voor ruwe, ongestructureerde gegevens die niet direct geanalyseerd hoeven te worden door BigQuery. Een regionale Cloud Storage-bucket biedt geen maximale beschikbaarheid in vergelijking met een multi-regionale optie.