Een data engineer moet real-time streaming data opnemen en tijdgebaseerde analyses uitvoeren met vensters tot 30 minuten. De oplossing moet zeer fouttolerant zijn en minimale operationele overhead vereisen. Welke optie voldoet aan deze vereisten?

De correcte optie is Amazon Managed Service for Apache Flink (voorheen Kinesis Data Analytics). Dit is een volledig beheerde service die speciaal is ontworpen voor real-time streaming data-analyse, inclusief complexe tijdgebaseerde vensterfuncties (zoals tumbling, sliding en session windows) en aggregaties. Het biedt hoge fouttolerantie en minimale operationele overhead, wat essentieel is voor de vereisten. De opties met AWS Lambda zijn minder geschikt voor continue real-time vensteranalyse over langere perioden (tot 30 minuten) vanwege de stateless aard van Lambda en de complexiteit van het handhaven van vensterstatus en fouttolerantie op schaal. Hoewel Lambda kleine, event-gedreven aggregaties kan uitvoeren, is het niet geoptimaliseerd voor de continue, stateful verwerking die nodig is voor vensteranalyse over 30 minuten. De optie die duplicaten noemt, is een afleidingsmanoeuvre; hoewel Apache Flink duplicaten kan verwerken, is dit niet de primaire reden waarom het de beste keuze is voor deze specifieke vraag.