Sie benötigen eine Pipeline, um Zeitreihen-Transaktionsdaten zur Analyse in BigQuery zu kopieren. Die anfängliche Größe des Datasets beträgt 1,5 PB und wächst täglich um 3 TB; Tausende von Transaktionen werden stündlich mit neuem Status aktualisiert. Die Daten sind stark strukturiert und werden für ML verwendet. Welche zwei Strategien wenden Sie an, um Leistung und Benutzerfreundlichkeit zu maximieren?

Die Denormalisierung der Daten maximiert die Leistung in BigQuery, da es für das Scannen großer, breiter Tabellen optimiert ist. Dies reduziert die Anzahl der Joins und verbessert die Abfrageleistung, besonders bei ML-Anwendungen, die oft alle relevanten Features in einer einzigen Tabelle benötigen. Das Anhängen von Statusaktualisierungen anstatt der Verwendung von UPDATE ist entscheidend für die Leistung in BigQuery. UPDATE-Operationen sind teuer und können zu einer Fragmentierung der Tabellen führen, was die Abfrageleistung beeinträchtigt. Durch das Anhängen neuer Status als neue Zeilen können BigQuery-Funktionen wie Partitionierung und Clustering optimal genutzt werden, um die neuesten Status effizient abzufragen. Die Beibehaltung einer stark normalisierten Struktur würde zu vielen Joins führen, was die Abfrageleistung mindert. Die Verwendung von UPDATE ist ineffizient für häufige Statusaktualisierungen. Externe Tabellen in Cloud Storage sind langsamer als native BigQuery-Tabellen.