Un job Python legge milioni di file di clienti in Cloud Storage; requisito normativo: eliminare immediatamente i dati dei clienti al termine del job. Riduci al minimo il tempo totale di completamento. Cosa dovresti fare?

L'opzione corretta è aggiungere un passaggio finale al job che elimina tutti gli oggetti nel bucket in blocco utilizzando richieste batch all'API Cloud Storage. Questo approccio è il più efficiente per eliminare un gran numero di file rapidamente e minimizzare il tempo totale di completamento, poiché le richieste batch riducono il sovraccarico di rete e l'elaborazione per ogni singola eliminazione. Configurare una regola di Object Lifecycle Management non garantisce l'eliminazione immediata al termine del job, poiché le regole vengono eseguite periodicamente e non su richiesta. Rimuovere l'intero bucket cancellerebbe i dati, ma potrebbe avere effetti indesiderati se il bucket è condiviso o contiene altri dati che non devono essere eliminati. Eseguire gcloud storage rm --recursive con la gcloud CLI è una soluzione valida per eliminare i file, ma l'integrazione diretta nel job Python tramite richieste batch all'API è generalmente più performante e programmabile per un'eliminazione su larga scala.