Инженер машинного обучения должен создать конвейер, который обнаруживает и удаляет PII из петабайтов неструктурированных данных, а затем использует очищенные данные для обучения моделей SageMaker. Какое решение соответствует этому требованию в масштабе?

Правильный ответ — использование бессерверного движка на базе Apache Spark в интерактивных сессиях AWS Glue с преобразованием Detect PII. Это решение масштабируемо и эффективно для петабайтов неструктурированных данных. AWS Glue поддерживает Apache Spark, что позволяет обрабатывать большие объемы данных, а интерактивные сессии удобны для разработки и тестирования. Преобразование Detect PII в AWS Glue специально разработано для обнаружения и удаления конфиденциальной информации. AWS Glue Data Wrangler внутри Amazon SageMaker Canvas подходит для интерактивной подготовки данных, но не предназначен для обработки петабайтов неструктурированных данных в масштабе. Amazon SageMaker Clarify API используется для анализа смещения и объяснимости моделей, а не для обнаружения и удаления PII из исходных данных. Действие DetectEntities API Amazon Comprehend подходит для обнаружения сущностей, включая PII, но его использование для удаления PII из петабайтов данных требует дополнительной логики и интеграции, что делает его менее комплексным решением по сравнению с AWS Glue.