Firma zbiera dane z wielu źródeł do zasobnika S3, uruchamia zadanie AWS Glue ETL w celu ich transformacji i przechowuje przetworzone dane wyjściowe w jeziorze danych opartym na S3, które jest odpytywane przez Amazon Athena. Firma musi identyfikować pasujące rekordy, nawet jeśli nie ma wspólnego unikalnego identyfikatora. Które rozwiązanie to umożliwi?

Transformacja AWS Lake Formation FindMatches jest przeznaczona do identyfikowania pasujących rekordów w zbiorach danych, nawet gdy brakuje wspólnego unikalnego identyfikatora. Wykorzystuje uczenie maszynowe do dopasowywania rekordów na podstawie podobieństwa danych, co jest kluczowe w scenariuszach, gdzie dane pochodzą z wielu źródeł i mogą zawierać niespójności lub brakujące identyfikatory. Można ją wytrenować w ramach zadania AWS Glue ETL, aby skutecznie czyścić i deduplikować dane przed ich zapisaniem w jeziorze danych. Pozostałe opcje są nieprawidłowe, ponieważ: Amazon Macie służy do wykrywania wrażliwych danych i nie jest narzędziem do dopasowywania rekordów. Klasa AWS Glue PySpark Filter służy do filtrowania danych na podstawie określonych kryteriów, a nie do identyfikowania pasujących rekordów bez unikalnego identyfikatora. Partycjonowanie tabel na podstawie unikalnego identyfikatora wymaga, aby taki identyfikator już istniał, co jest sprzeczne z wymaganiem pytania.