Een bedrijf slaat datasets op in S3 die PII bevatten voor e-commerce. Een interne analyse-app heeft geen PII nodig en het bedrijf moet onnodig delen van PII voorkomen. De data engineer moet dynamische, per-applicatie redactie implementeren met minimale operationele overhead. Welke oplossing moet de engineer kiezen?

S3 Object Lambda is de meest geschikte oplossing omdat het dynamische transformatie van S3-objecten mogelijk maakt wanneer ze worden opgevraagd, zonder dat de onderliggende data in S3 hoeft te worden gewijzigd. Dit betekent dat de PII-redactielogica centraal kan worden beheerd in één Lambda-functie en per applicatie kan worden toegepast op basis van de specifieke vereisten, wat de operationele overhead minimaliseert. Het maken van meerdere kopieën van de dataset (opties 1 en 3) leidt tot data-duplicatie, hogere opslagkosten en complexiteit bij het beheer en de consistentie van de data. Een S3 bucket policy (optie 1) beperkt alleen de toegang, het redigeert geen data. AWS Glue (optie 3) is een ETL-service die geschikt is voor batchverwerking en transformatie, maar minder voor dynamische, on-demand redactie per applicatie. Een API Gateway endpoint (optie 4) voegt een extra laag van complexiteit en latency toe en is niet primair ontworpen voor het dynamisch transformeren van S3-objecten op aanvraag.