Data scientists gebruiken Amazon SageMaker om AI/ML-modellen te trainen met grote, gevoelige datasets die zijn opgeslagen in een Amazon S3-bucket. Training duurt doorgaans 30 dagen. Het dataretentiebeleid van het bedrijf vereist het verwijderen van alle gegevens die ouder zijn dan 45 dagen uit de S3-bucket. De bucket is al op de juiste manier beveiligd. Wat moet een security engineer doen om dit retentiebeleid af te dwingen?

Een S3 Lifecycle-regel is de meest efficiënte en geautomatiseerde manier om objecten na een bepaalde periode te verwijderen. Deze regels worden direct door S3 beheerd, waardoor er geen extra compute-resources (zoals Lambda) nodig zijn en de operationele overhead minimaal is. De regel kan eenvoudig worden geconfigureerd om objecten 45 dagen na hun creatie te verwijderen, wat voldoet aan het retentiebeleid. Het gebruik van een Lambda-functie met S3-gebeurtenismeldingen voor elke PutObject is inefficiënt en kostbaar voor grote datasets, omdat de functie bij elke upload wordt aangeroepen. Een Lambda-functie die maandelijks wordt aangeroepen, voldoet niet aan de eis van 45 dagen, omdat objecten mogelijk langer blijven staan. S3 Intelligent-Tiering is bedoeld voor kostenoptimalisatie door objecten naar andere opslagklassen te verplaatsen, niet voor het afdwingen van dataretentie door verwijdering.