Usted transmite datos de informes a BigQuery con tablas de staging y de producción. Para mantener un único conjunto de datos maestro sin afectar la ingesta o los informes, ¿cómo debería mover los datos de staging a producción?

La opción correcta es mover los datos de staging a producción y eliminar el contenido de staging cada tres horas. Este enfoque garantiza que la tabla de producción contenga un conjunto de datos maestro consistente, ya que los datos se mueven de staging y luego se borran, evitando duplicados o estados intermedios. Un ciclo de tres horas proporciona un equilibrio razonable entre la actualidad de los datos y la eficiencia operativa, permitiendo que la ingesta continúe sin interrupciones significativas y que los informes accedan a datos actualizados periódicamente. Las opciones de solo anexar (append-only) en staging no son ideales porque eventualmente requerirían una lógica más compleja para fusionar o dedupicar datos en producción, lo que podría afectar el rendimiento o la consistencia del conjunto de datos maestro. La frecuencia de treinta minutos podría ser excesiva, generando una carga innecesaria en el sistema sin un beneficio sustancial para la mayoría de los casos de uso de informes.