Een data engineer moet een dataset laden in een Amazon S3 data lake met behulp van AWS services. Na het profileren van de data ontdekt de engineer persoonlijk identificeerbare informatie (PII). De engineer moet zowel de dataset profileren als de PII verhullen. Welke aanpak voldoet aan deze vereiste met de MINSTE operationele inspanning?

De correcte optie maakt gebruik van AWS Glue Studio's ingebouwde 'Detect PII'-transformatie, die specifiek is ontworpen voor het identificeren en verhullen van PII met minimale inspanning. Dit is een beheerde service die de complexiteit van handmatige PII-detectie en -maskering vermindert. AWS Step Functions is een geschikte service voor het orkestreren van de datapijplijn, inclusief de Glue-taak. De eerste optie vereist het schrijven en onderhouden van een aangepaste Lambda-functie met de AWS SDK voor PII-detectie en -verhulling, wat meer operationele inspanning vergt dan de ingebouwde Glue-transformatie. De derde optie stelt voor om AWS Glue Data Quality-regels te gebruiken voor PII-verhulling, wat niet de primaire functie van Data Quality is; de 'Detect PII'-transformatie is hiervoor directer en efficiënter. De vierde optie introduceert DynamoDB als een onnodige tussenstap en vereist een Lambda-functie voor zowel PII-verwerking als opname in S3, wat complexer is dan de Glue Studio-aanpak.