Diseñe un sistema de procesamiento de datos históricos nativo de la nube: datos en CSV, Avro, PDF; accedidos por Dataproc, BigQuery, Compute Engine; ingesta diaria por lotes; el rendimiento no es crítico; maximizar la disponibilidad. ¿Cómo debe almacenar los datos?

La opción correcta es almacenar los datos en un bucket multirregional de Cloud Storage y acceder a ellos directamente. Cloud Storage es un servicio de almacenamiento de objetos escalable, duradero y de alta disponibilidad, ideal para almacenar datos históricos de diversos formatos (CSV, Avro, PDF) y maximizar la disponibilidad, como se solicita. La naturaleza multirregional garantiza una alta disponibilidad y resiliencia ante fallos regionales. Dataproc, BigQuery y Compute Engine pueden acceder directamente a los datos en Cloud Storage, lo que permite una integración fluida y elimina la necesidad de mover datos. Las otras opciones son menos óptimas: Un clúster de Dataproc con HDFS no es ideal para el almacenamiento de datos históricos a largo plazo debido a su naturaleza efímera y la necesidad de gestionar el clúster. Almacenar todos los datos en BigQuery no es adecuado para formatos como PDF y podría ser menos flexible para ciertos tipos de procesamiento con Dataproc o Compute Engine. Un bucket regional de Cloud Storage ofrece buena disponibilidad, pero un bucket multirregional maximiza la disponibilidad, que es un requisito clave.