Een Python-taak leest miljoenen klantbestanden in Cloud Storage; wettelijke vereiste: klantgegevens onmiddellijk verwijderen wanneer de taak is voltooid. Minimaliseer de totale voltooiingstijd. Wat moet je doen?

De juiste aanpak is het toevoegen van een laatste taakstap die alle objecten in de bucket in bulk verwijdert met behulp van batchverzoeken aan de Cloud Storage API. Dit is de meest efficiënte methode voor het snel verwijderen van miljoenen objecten, omdat batchverzoeken de overhead per verwijderingsactie minimaliseren en de totale voltooiingstijd verkorten. Het configureren van een Object Lifecycle Management-regel is niet ideaal, omdat deze regels asynchroon werken en er geen garantie is voor onmiddellijke verwijdering, wat in strijd is met de wettelijke vereiste. Het verwijderen van de hele bucket via de Google Cloud console is te drastisch als de bucket zelf mogelijk opnieuw gebruikt moet worden, en het is ook niet de snelste manier voor alleen objectverwijdering. Het uitvoeren van gcloud storage rm --recursive via de gcloud CLI is minder efficiënt dan directe API-batchverzoeken voor miljoenen objecten, omdat dit vaak meer afzonderlijke aanroepen en overhead met zich meebrengt.