Sie müssen eine Pipeline für die vorausschauende Wartung in Echtzeit erstellen, die Gerätedaten von entfernten Standorten empfängt (kein Direct Connect oder VPN). Die Pipeline muss: Daten in Echtzeit in Amazon S3 aufnehmen, eingehende Rohdatensätze während der Aufnahme in saubere CSV-Dateien umwandeln, die ursprünglichen Rohdatensätze in S3 speichern und alle Datensätze, die bei der Umwandlung fehlschlagen, zur manuellen Überprüfung an einen bestimmten S3-Speicherort verschieben. Welche Architektur erfordert den geringsten Aufwand, um diese Anforderungen zu erfüllen?

Die korrekte Antwort ist die effizienteste Lösung. Amazon Kinesis Data Firehose ist für die Echtzeit-Aufnahme von Daten in S3 konzipiert. Die Integration mit AWS Lambda ermöglicht die Transformation eingehender Rohdaten in saubere CSV-Dateien während der Aufnahme. Die Funktion zur Sicherung von Quelldatensätzen in Firehose erfüllt die Anforderung, die ursprünglichen Rohdatensätze zu speichern. Firehose kann auch fehlgeschlagene Transformationen automatisch an einen separaten S3-Speicherort liefern, was den geringsten Aufwand für diese spezifischen Anforderungen darstellt. Die anderen Optionen sind weniger geeignet: Amazon MSK mit ECS-Worker-Tasks erfordert mehr Betriebsaufwand für die Verwaltung der Kafka-Cluster und ECS-Tasks. Die Verwendung von AWS Glue Apache Spark-Jobs mit Firehose ist für die Transformation von Daten in S3 nicht die primäre Methode während der Aufnahme und kann komplexer sein. Die Platzierung von Kinesis Data Streams vor Firehose fügt eine unnötige Schicht hinzu und erhöht die Komplexität, da Firehose bereits die direkte Aufnahme und Transformation handhaben kann.