Ein Unternehmen sammelt Daten aus vielen Quellen in einem S3-Bucket, führt einen AWS Glue ETL-Job aus, um sie zu transformieren, und speichert die transformierten Ausgaben in einem S3-basierten Data Lake, der von Amazon Athena abgefragt wird. Das Unternehmen muss übereinstimmende Datensätze identifizieren, auch wenn es keinen gemeinsamen eindeutigen Bezeichner gibt. Welche Lösung wird dies erreichen?

Die AWS Lake Formation FindMatches-Transformation ist die korrekte Lösung, da sie speziell dafür entwickelt wurde, übereinstimmende Datensätze in einem Datensatz zu identifizieren, auch wenn es keinen gemeinsamen eindeutigen Bezeichner gibt. Sie verwendet Machine Learning, um Datensätze abzugleichen, die sich auf dieselbe reale Entität beziehen. Amazon Macie ist für die Erkennung sensibler Daten und nicht für das Abgleichen von Datensätzen konzipiert. Die AWS Glue PySpark Filter-Klasse kann Daten filtern, aber nicht Datensätze ohne eindeutige Bezeichner abgleichen. Das Partitionieren von Tabellen ist eine Optimierungstechnik für Abfragen und erfordert bereits einen eindeutigen Bezeichner oder eine definierte Partitionierungsstrategie, um effektiv zu sein.