Necesita una pipeline para copiar datos de transacciones de series temporales en BigQuery para su análisis. El tamaño inicial del conjunto de datos es de 1.5 PB y crece 3 TB/día; miles de transacciones se actualizan cada hora con un nuevo estado. Los datos están muy estructurados y se utilizan para ML. Para maximizar el rendimiento y la usabilidad, ¿qué dos estrategias adopta?

Desnormalizar los datos tanto como sea posible es crucial para BigQuery. BigQuery está optimizado para consultas analíticas rápidas sobre grandes volúmenes de datos, y la desnormalización reduce las uniones costosas, mejorando significativamente el rendimiento de las consultas. Desarrollar una pipeline donde las actualizaciones de estado se añadan en lugar de actualizarse es la estrategia recomendada para datos que cambian frecuentemente. BigQuery no está diseñado para actualizaciones frecuentes de filas individuales; las operaciones UPDATE pueden ser costosas y lentas en conjuntos de datos grandes. Añadir nuevas versiones de los registros como nuevas filas y usar la partición por fecha y el campo de marca de tiempo para identificar el registro más reciente es una práctica común y eficiente. Preservar la estructura de los datos tanto como sea posible (normalización) es ineficiente para BigQuery debido a las uniones. Usar BigQuery UPDATE para reducir el tamaño es incorrecto; UPDATE no está optimizado para esto y puede ser costoso. Copiar una instantánea diaria a Cloud Storage y usar fuentes externas no es óptimo para el rendimiento y la usabilidad de un conjunto de datos que crece 3 TB/día y se actualiza cada hora, ya que las consultas serían más lentas y los datos no estarían en tiempo casi real.