Inżynier ML musi zbudować potok, który wykrywa i usuwa PII (informacje umożliwiające identyfikację osoby) z petabajtów nieustrukturyzowanych danych, a następnie wykorzystuje oczyszczone dane do trenowania modeli SageMaker. Które rozwiązanie spełnia to wymaganie na dużą skalę?

Poprawna odpowiedź to użycie bezserwerowego silnika opartego na Apache Spark w interaktywnych sesjach AWS Glue i zastosowanie transformacji Detect PII. AWS Glue oferuje transformację Detect PII, która jest specjalnie zaprojektowana do identyfikowania i usuwania danych PII na dużą skalę. Użycie bezserwerowego silnika Spark w AWS Glue pozwala na przetwarzanie petabajtów danych bez konieczności zarządzania infrastrukturą. AWS Glue Data Wrangler w Amazon SageMaker Canvas jest narzędziem do przygotowywania danych, ale nie jest przeznaczone do przetwarzania petabajtów danych w sposób zautomatyzowany i skalowalny w kontekście usuwania PII. Amazon SageMaker Clarify służy do wykrywania stronniczości i wyjaśniania modeli, a nie do wykrywania i usuwania PII z surowych danych. Akcja API DetectEntities w Amazon Comprehend jest przeznaczona do ekstrakcji encji z tekstu, a nie do masowego usuwania PII z petabajtów nieustrukturyzowanych danych.