あるMLエンジニアが、ペタバイト規模の非構造化データからPIIを検出し削除するパイプラインを構築し、そのクリーンアップされたデータを使用してSageMakerモデルをトレーニングする必要があります。この要件を大規模に満たすソリューションはどれですか？

AWS GlueインタラクティブセッションのApache Sparkベースのサーバーレスエンジンは、ペタバイト規模の非構造化データ処理に適しており、Detect PII変換はPIIの検出と削除を効率的に行えます。これにより、大規模なデータクリーンアップとSageMakerモデルトレーニングの要件を満たせます。Amazon SageMaker Canvas内のAWS Glue Data Wranglerはデータ準備に有用ですが、Detect PII変換のような高度なPII検出機能は提供していません。Amazon SageMaker Clarifyはモデルのバイアスや説明可能性の分析に特化しており、データ内のPII検出・削除には向きません。Amazon ComprehendのDetectEntities APIはPII検出に利用できますが、ペタバイト規模の非構造化データに対する大規模なバッチ処理や削除機能はAWS GlueのDetect PII変換ほど統合されていません。