Un fournisseur de sécurité reçoit des données de télémétrie toutes les 30 secondes de milliers de points de terminaison mondiaux. Les enregistrements font environ 1 Ko et contiennent 50 champs. Les données sont ingérées dans Kinesis Data Streams, et des résumés horaires doivent être produits pour les requêtes Athena qui liront 7 à 12 champs. Quelle approche nécessite le moins de personnalisation pour transformer et stocker les données ingérées ?

La bonne réponse est d'utiliser Kinesis Data Analytics pour l'agrégation horaire et Kinesis Data Firehose pour le stockage sur S3. Kinesis Data Analytics est conçu pour le traitement de flux en temps réel, ce qui le rend idéal pour agréger des données à partir de Kinesis Data Streams avec un minimum de code personnalisé. Il peut effectuer des agrégations basées sur le temps (fenêtres glissantes ou basculantes) directement sur le flux de données. Kinesis Data Firehose est ensuite utilisé pour livrer les résumés transformés vers S3 de manière simple et gérée. Les autres options sont moins optimales. L'utilisation de Lambda pour l'agrégation horaire (option 1) nécessiterait une logique de gestion de l'état et de la fenêtre de temps plus complexe. L'utilisation d'un cluster EMR (option 2) pour l'agrégation horaire est une solution surdimensionnée et plus coûteuse pour cette tâche. L'option 4, qui consiste à utiliser Lambda pour les transformations avec Firehose, est possible, mais Kinesis Data Analytics est une solution plus native et moins personnalisée pour l'agrégation continue de flux.