Entwerfen Sie ein Cloud-natives System zur Verarbeitung historischer Daten: Daten in CSV, Avro, PDF; Zugriff durch Dataproc, BigQuery, Compute Engine; tägliche Batch-Ingestion; Performance nicht kritisch; maximale Verfügbarkeit. Wie sollten Sie die Daten speichern?

Die Speicherung der Daten in einem multiregionalen Cloud Storage-Bucket ist die beste Lösung. Cloud Storage ist ein hochverfügbarer Objektspeicher, der verschiedene Dateiformate (CSV, Avro, PDF) unterstützt und direkt von Dataproc, BigQuery und Compute Engine aus zugänglich ist. Die multiregionale Option gewährleistet maximale Verfügbarkeit, was eine Anforderung ist. Da die Performance nicht kritisch ist, ist die Latenz eines multiregionalen Buckets akzeptabel. Ein Dataproc-Cluster mit HDFS ist nicht ideal, da HDFS kein Cloud-natives Speichersystem ist und die Daten nicht direkt von BigQuery oder Compute Engine aus zugänglich wären. BigQuery ist zwar hervorragend für strukturierte Daten, aber nicht optimal für alle Dateiformate (z.B. PDF) und würde eine zusätzliche ETL-Schicht für die Ingestion erfordern. Ein regionaler Cloud Storage-Bucket bietet zwar gute Verfügbarkeit, aber nicht die maximale Verfügbarkeit, die gefordert wird.