Een ML-engineer moet een pipeline bouwen die PII (persoonlijk identificeerbare informatie) detecteert en verwijdert uit petabytes aan ongestructureerde data, en vervolgens de opgeschoonde data gebruikt om SageMaker-modellen te trainen. Welke oplossing voldoet op schaal aan deze vereiste?

De correcte optie is het gebruik van AWS Glue interactive sessions met de Detect PII transform. AWS Glue is een serverloze ETL-service (Extract, Transform, Load) die schaalbaar is voor petabytes aan data. De Detect PII transform is specifiek ontworpen voor het identificeren en verwijderen van PII, wat essentieel is voor deze use case. Interactive sessions maken iteratieve ontwikkeling en testen mogelijk. AWS Glue Data Wrangler binnen Amazon SageMaker Canvas is meer gericht op data-voorbereiding voor datawetenschappers en is minder geschikt voor grootschalige, geautomatiseerde PII-detectie en -verwijdering over petabytes aan data. Amazon SageMaker Clarify is bedoeld voor het detecteren van bias en het verklaren van modellen, niet voor PII-detectie en -verwijdering. De DetectEntities API van Amazon Comprehend kan entiteiten detecteren, inclusief PII, maar is primair een Natural Language Processing (NLP) service en mist de ingebouwde schaalbaarheid en transformatiemogelijkheden van AWS Glue voor het verwerken en opschonen van petabytes aan ongestructureerde data.