Usted recibe los precios promedio de 100 productos comunes cada 30 minutos y necesita que estén actualizados en BigQuery para realizar uniones económicas. ¿Qué enfoque es el mejor?

La opción correcta es almacenar y actualizar los datos en un bucket regional de Cloud Storage y crear una tabla externa federada de BigQuery. Este enfoque es eficiente porque Cloud Storage es ideal para almacenar datos que cambian frecuentemente y las tablas federadas de BigQuery permiten consultar estos datos directamente sin necesidad de cargarlos, manteniéndolos siempre actualizados. Cargar los datos cada 30 minutos en una nueva tabla particionada de BigQuery generaría muchas tablas pequeñas y aumentaría los costos de almacenamiento y gestión. Almacenar los datos en Cloud Datastore y usar Cloud Dataflow para fusionarlos con BigQuery sería una solución más compleja y costosa para una tarea de actualización tan frecuente. Almacenar los datos en un archivo en Cloud Storage regional y usar Cloud Dataflow para combinarlos con BigQuery también introduce una complejidad innecesaria con Dataflow para una actualización simple.