Ein Dateningenieur hat einen S3-Bucket für ein AWS Data Exchange-Produkt abonniert, das Wirtschaftsindikatoren liefert. Der Ingenieur muss diese eingehenden Wirtschaftsdaten mit einer bestehenden Tabelle in Amazon Athena verknüpfen und alle Transformationen innerhalb von 30–60 Minuten abschließen. Welche kostengünstige Lösung erfüllt diese Anforderungen?

Diese Lösung ist kostengünstig und erfüllt die Anforderungen. Wenn neue Daten im S3-Bucket des AWS Data Exchange landen, löst ein S3-Ereignis eine Lambda-Funktion aus. Diese Lambda-Funktion startet einen AWS Glue-Job, der die neuen Wirtschaftsdaten mit der bestehenden Athena-Tabelle zusammenführt und das Ergebnis in S3 speichert. AWS Glue ist ein serverloser ETL-Dienst, der für diese Art von Transformationen optimiert ist und innerhalb des vorgegebenen Zeitrahmens von 30-60 Minuten ausgeführt werden kann. Die Kosten entstehen nur für die tatsächliche Nutzung von Lambda und Glue. Die Option mit Kinesis ist unnötig komplex und teurer, da Kinesis für Streaming-Daten konzipiert ist, nicht für Batch-Verarbeitung von S3-Dateien. SageMaker Data Wrangler ist ein Tool zur Datenaufbereitung und -analyse, aber das Starten über Lambda für eine reine Zusammenführung ist nicht die effizienteste oder kostengünstigste Methode für diesen Anwendungsfall. Ein Amazon Redshift-Cluster ist eine teure Lösung für Data Warehousing und Overkill für eine einmalige oder periodische Zusammenführung von Daten, die bereits in S3 und Athena vorliegen.