Une plateforme de podcast détecte un faible engagement en analysant une fenêtre glissante de 10 minutes d'événements utilisateur. Vous devez ingérer les événements et transformer les données des 10 dernières minutes avant d'exécuter l'inférence avec un minimum de frais opérationnels. Quelle conception est la meilleure ?

La meilleure solution est d'ingérer les événements avec Amazon Kinesis Data Streams et d'utiliser Amazon Kinesis Data Analytics pour la transformation. Kinesis Data Streams est idéal pour l'ingestion de données en temps réel et à faible latence, tandis que Kinesis Data Analytics est conçu pour le traitement de flux de données en temps réel, y compris les fenêtres glissantes (sliding windows) nécessaires pour analyser les 10 dernières minutes d'événements. Cette combinaison offre une solution gérée, évolutive et à faibles frais opérationnels. Les autres options sont moins optimales : Utiliser Amazon MSK avec Kinesis Data Analytics est possible, mais Kinesis Data Streams est souvent plus simple à gérer pour ce type de cas d'utilisation sans les frais de gestion d'un cluster Kafka. L'ingestion via Kinesis Data Streams vers S3 avec Kinesis Data Firehose, puis l'utilisation de Lambda, introduit une latence et une complexité inutiles pour le traitement en temps quasi réel d'une fenêtre glissante. S3 est un stockage d'objets, pas une base de données de flux en temps réel. Utiliser Amazon MSK avec AWS Lambda pour la transformation pourrait fonctionner, mais Kinesis Data Analytics est spécifiquement optimisé pour les opérations de fenêtrage sur des flux de données, ce qui réduit la complexité de développement et les frais opérationnels par rapport à une implémentation personnalisée avec Lambda.