Une entreprise réentraîne périodiquement des modèles ML en utilisant de nouvelles données de streaming provenant d'appareils. Elle a besoin d'un système d'ingestion à haut débit, durable et scalable, capable de tolérer jusqu'à 5 minutes de latence d'ingestion et d'appliquer des transformations de base pendant l'ingestion. Quelle approche offre la meilleure efficacité opérationnelle ?

L'approche correcte utilise Amazon Kinesis Data Streams pour l'ingestion à haut débit et durable des données de streaming, répondant aux exigences de scalabilité et de tolérance à la latence. Kinesis Data Firehose est ensuite utilisé pour consommer ce flux, offrant une intégration facile avec AWS Lambda pour les transformations de base en ligne, avant de livrer les données transformées à Amazon S3 pour le stockage à long terme. Cette combinaison est optimisée pour l'efficacité opérationnelle car elle minimise la gestion de l'infrastructure. Les autres options sont moins efficaces : Écrire directement dans S3 depuis les appareils, puis utiliser Lambda et Kinesis Data Streams, ajoute une complexité inutile et une latence potentielle. Déclencher des tâches AWS Glue sur des événements S3 pour chaque fichier de streaming est moins adapté aux flux de données continus et à haut débit, et peut introduire une latence plus élevée. Connecter une tâche AWS Glue directement à Kinesis Data Firehose pour la transformation est possible, mais l'utilisation de Lambda avec Firehose est généralement plus rentable et plus simple pour des transformations de base et une latence faible.