Un ingénieur ML doit créer un pipeline qui découvre et supprime les informations personnelles identifiables (PII) de pétaoctets de données non structurées, puis utilise les données nettoyées pour entraîner des modèles SageMaker. Quelle solution répond à cette exigence à l'échelle ?

La solution correcte est d'utiliser le moteur sans serveur basé sur Apache Spark dans les sessions interactives AWS Glue avec la transformation Detect PII. AWS Glue est un service ETL (Extract, Transform, Load) sans serveur et évolutif, idéal pour traiter de grands volumes de données (pétaoctets). Les sessions interactives Glue permettent d'exécuter des scripts Spark pour des transformations complexes, et la transformation Detect PII est spécifiquement conçue pour identifier et supprimer les PII. AWS Glue Data Wrangler dans Amazon SageMaker Canvas est plus adapté à la préparation de données pour des utilisateurs non techniques et n'est pas optimisé pour le traitement de pétaoctets de données non structurées à cette échelle. Amazon SageMaker Clarify est utilisé pour la détection de biais et l'explicabilité des modèles, pas pour la détection et la suppression de PII dans les données brutes. L'API DetectEntities d'Amazon Comprehend est un service de traitement du langage naturel (NLP) pour l'analyse de texte, mais elle n'est pas conçue pour le traitement de pétaoctets de données non structurées de manière évolutive pour la suppression de PII à l'échelle d'un pipeline ETL.