U moet een real-time pijplijn voor voorspellend onderhoud bouwen die apparaatgegevens ontvangt van externe locaties (geen Direct Connect of VPN). De pijplijn moet: gegevens in real-time opnemen in Amazon S3, inkomende ruwe records tijdens de opname omzetten in schone CSV, de originele ruwe records opslaan in S3, en records die de transformatie mislukken, plaatsen op een aangewezen S3-locatie voor menselijke beoordeling. Welke architectuur vereist de minste inspanning om aan deze vereisten te voldoen?

Deze optie voldoet het beste aan alle vereisten met minimale inspanning. Kinesis Data Firehose is ontworpen voor real-time opname van streaminggegevens naar S3. De ingebouwde Lambda-transformatiefunctionaliteit maakt het mogelijk om inkomende records om te zetten naar schone CSV. De 'source record backup'-functie van Firehose slaat automatisch de originele ruwe records op in S3. Bovendien plaatst Firehose records die de transformatie mislukken automatisch op een aangewezen S3-locatie voor menselijke beoordeling, wat de vereiste voor foutafhandeling afdekt. De MSK-optie vereist meer operationele overhead voor het beheren van ECS-taken en het handmatig implementeren van foutafhandeling. De optie met Glue Spark-taken is minder geschikt voor real-time transformaties vanwege de opstarttijd van Spark-clusters. De optie met Kinesis Data Streams en een aparte Lambda voor ruwe records introduceert onnodige complexiteit en extra componenten.