Een bedrijf verzamelt gegevens uit vele bronnen in een S3-bucket, voert een AWS Glue ETL-taak uit om deze te transformeren, en slaat de getransformeerde uitvoer op in een S3-gebaseerd data lake dat wordt bevraagd door Amazon Athena. Het bedrijf moet overeenkomende records identificeren, zelfs als er geen gedeelde unieke identificatie is. Welke oplossing zal dit bewerkstelligen?

De AWS Lake Formation FindMatches-transformatie is specifiek ontworpen voor het identificeren van overeenkomende records in datasets, zelfs wanneer er geen gemeenschappelijke unieke identificatie bestaat. Het gebruikt machine learning om records te koppelen op basis van vergelijkbare, maar niet identieke, attributen. Dit is precies wat het bedrijf nodig heeft om records te dedupliceren of te koppelen uit verschillende bronnen. Amazon Macie is gericht op gegevensbeveiliging en het ontdekken van gevoelige gegevens, niet op het matchen van records zonder unieke ID's. De AWS Glue PySpark Filter-klasse is voor het filteren van rijen op basis van specifieke voorwaarden, niet voor geavanceerde matching. Het partitioneren van tabellen op een unieke identificatie is nuttig voor queryprestaties en organisatie, maar lost het probleem van het matchen van records zonder een gedeelde unieke ID niet op.