Ein Python-Job liest Millionen von Kundendateien in Cloud Storage; regulatorische Anforderung: Kundendaten sofort nach Abschluss des Jobs löschen. Minimieren Sie die Gesamtbearbeitungszeit. Was sollten Sie tun?

Die beste Lösung ist, einen letzten Jobschritt hinzuzufügen, der alle Objekte im Bucket mithilfe von Batch-Anfragen an die Cloud Storage API in großen Mengen löscht. Dies ist die effizienteste Methode, um Millionen von Dateien sofort nach Abschluss des Jobs zu löschen und die Gesamtbearbeitungszeit zu minimieren. Batch-Anfragen reduzieren den Overhead für jede einzelne Löschoperation. Eine Object Lifecycle Management-Regel würde die Objekte nicht sofort löschen, sondern erst nach einer definierten Zeitspanne, was den regulatorischen Anforderungen widerspricht. Das Entfernen des Buckets aus der Google Cloud Console ist zu umständlich und würde den gesamten Bucket löschen, nicht nur die Objekte. Die Verwendung von gcloud storage rm --recursive ist zwar möglich, aber für Millionen von Dateien über die CLI weniger effizient als eine programmatische Batch-Löschung über die API.