Een vloot van Amazon EC2-instances neemt JSON-gegevens op uit on-premises bronnen met een snelheid tot 1 MB/s. Wanneer een EC2-instance opnieuw opstart, gaan in-flight gegevens verloren. Het data science-team heeft bijna-realtime bevraging van opgenomen gegevens nodig. Welke oplossing biedt bijna-realtime bevraging, is schaalbaar en minimaliseert gegevensverlies?

Het publiceren van gegevens naar Amazon Kinesis Data Streams en het gebruiken van Kinesis Data Analytics voor bevraging biedt de beste oplossing. Kinesis Data Streams is ontworpen voor real-time gegevensopname en -verwerking op schaal, wat gegevensverlies minimaliseert bij het opnieuw opstarten van EC2-instances door de gegevens persistent te maken. Kinesis Data Analytics maakt bijna-realtime bevraging mogelijk. De optie met Kinesis Data Firehose en Amazon Redshift introduceert hogere latentie, omdat Firehose buffert voordat het naar Redshift levert, wat niet ideaal is voor bijna-realtime bevraging. Het opslaan van gegevens in een EC2 instance store en vervolgens naar Firehose/S3/Athena is suboptimaal vanwege het risico op gegevensverlies bij herstart en de batch-georiënteerde aard van Athena voor bevraging. Het gebruik van EBS en ElastiCache for Redis is niet geschikt voor persistente, schaalbare real-time data-analyse; Redis is een in-memory cache en geen primaire opslag voor analyse.