Bir şirket, birçok kaynaktan gelen verileri bir S3 bucket'ında toplar, bu verileri dönüştürmek için bir AWS Glue ETL işi çalıştırır ve dönüştürülmüş çıktıyı Amazon Athena tarafından sorgulanan S3 tabanlı bir veri gölünde depolar. Şirketin, paylaşılan benzersiz bir tanımlayıcı olmasa bile eşleşen kayıtları belirlemesi gerekmektedir. Bunu hangi çözüm başaracaktır?

AWS Lake Formation FindMatches dönüşümü, paylaşılan benzersiz bir tanımlayıcı olmasa bile eşleşen kayıtları belirlemek için özel olarak tasarlanmış makine öğrenimi (ML) tabanlı bir dönüşümdür. Bu dönüşüm, verilerdeki benzerlikleri analiz ederek ve bir eşleşme olasılığına göre kayıtları gruplayarak çalışır. Bu, özellikle veri kalitesi sorunları veya farklı kaynaklardan gelen verilerin birleştirilmesi gerektiğinde kullanışlıdır. Amazon Macie kalıp eşleştirme, hassas verileri tanımlamak için kullanılır, kayıt eşleştirme için değil. AWS Glue PySpark Filter sınıfı, belirli koşullara uyan kayıtları filtrelemek için kullanılır, ancak eşleşen kayıtları tanımlamak için bir ML modeli eğitmez. Tabloları bölümlemek ve verileri benzersiz bir tanımlayıcı üzerinde bölümlemek, sorgu performansını artırır ancak eşleşen kayıtları belirleme sorununu çözmez.