Entwerfen Sie einen täglichen ETL-Workflow mit den folgenden Anforderungen: Start, wenn neue Daten in S3 hochgeladen werden; sobald alle erforderlichen Uploads vorhanden sind, führen Sie einen ETL-Job aus, der die neuen Daten mit mehreren Terabyte großen Datensätzen in S3 verbindet; schreiben Sie die Verbindungsergebnisse zurück nach S3; und benachrichtigen Sie einen Administrator, wenn ein Job fehlschlägt. Welche Architektur erfüllt diese Anforderungen?

Diese Architektur ist die beste Lösung, da sie alle Anforderungen erfüllt. Ein S3-Upload-Ereignis kann Lambda auslösen. Lambda kann dann einen Step Functions-Workflow starten, der orchestriert, wann alle erforderlichen Uploads abgeschlossen sind, bevor er AWS Glue für den ressourcenintensiven ETL-Join auf Terabyte-Datensätzen aufruft. Glue ist für große Datenmengen optimiert. CloudWatch-Alarme sind ideal für die Überwachung von Fehlern und das Senden von SNS-Benachrichtigungen. Die anderen Optionen sind weniger geeignet: SageMaker Notebook-Instanzen sind nicht für automatisierte, produktionsreife ETL-Workflows konzipiert und können teuer und ineffizient sein. AWS Batch ist zwar für Batch-Verarbeitung geeignet, aber die Orchestrierung des Wartens auf mehrere Uploads ist mit Step Functions einfacher und robuster. Das direkte Verketten von Lambda-Funktionen für Terabyte-Daten ist aufgrund der Laufzeitbeschränkungen und des Speicherbedarfs von Lambda nicht praktikabel.