Nach der Bereitstellung einer neuen Version der Ingestion-Pipeline stieg das täglich gespeicherte Datenvolumen in BigQuery um 50 %, die Pub/Sub-Volumina blieben unverändert, und nur einige tägliche Partitionen verdoppelten sich. Wie untersuchen und beheben Sie die Ursache?

Die korrekte Antwort bietet einen systematischen Ansatz zur Fehlerbehebung. Zuerst wird die BigQuery-Tabelle auf Duplikate überprüft, da sich das Datenvolumen verdoppelt hat, aber Pub/Sub-Volumina unverändert blieben, was auf doppelte Schreibvorgänge hindeutet. Die Überprüfung der BigQuery-Audit-Logs hilft, die verursachenden Job-IDs zu identifizieren. Cloud Monitoring wird verwendet, um die Pipeline-Version und den Startzeitpunkt der Jobs zu ermitteln, um den Zusammenhang mit der neuen Bereitstellung herzustellen. Schließlich wird vorgeschlagen, redundante Pipeline-Versionen zu stoppen, um weitere Duplikate zu verhindern. Die erste falsche Option schlägt eine Deduplizierung vor, behebt aber nicht die Ursache der Duplikate. Die zweite falsche Option konzentriert sich auf Codefehler und Wiederherstellung, ohne die genaue Ursache der Duplikate zu identifizieren. Die dritte falsche Option schlägt ein Rollback und eine Wiederherstellung vor, ohne die Ursache zu untersuchen, was zu einem erneuten Auftreten des Problems führen könnte.