Un détaillant collecte les enregistrements d'achats de 20 000 magasins dans Amazon S3 via Amazon Kinesis Data Firehose. L'entraînement quotidien du modèle nécessite de simples transformations d'attributs et quelques combinaisons de champs. Quel changement nécessite le moins d'effort de développement pour appliquer ces transformations simples avant l'entraînement ?

La bonne réponse est d'attacher une application Amazon Kinesis Data Analytics en aval du flux Firehose. Kinesis Data Analytics permet d'effectuer des transformations en temps réel sur les données de streaming à l'aide de requêtes SQL simples, ce qui est idéal pour les transformations d'attributs et les combinaisons de champs mentionnées. Cette approche est sans serveur et gérée, minimisant l'effort de développement et d'exploitation. Les autres options sont moins efficaces pour ce cas d'utilisation : Demander aux magasins de stocker les données sur AWS Storage Gateway, puis exécuter des tâches AWS Glue : Storage Gateway n'est pas une solution d'ingestion directe pour les données de streaming et AWS Glue, bien qu'utile pour les transformations, introduit une latence et une complexité supplémentaires par rapport à Kinesis Data Analytics pour les transformations en temps réel. Exécuter un cluster Amazon EMR avec Apache Spark : EMR est puissant, mais surdimensionné et plus coûteux pour de simples transformations quotidiennes, nécessitant une gestion de cluster. Lancer une flotte d'instances Amazon EC2 : Cette option implique une gestion d'infrastructure significative et un développement de code personnalisé, ce qui est l'approche la plus coûteuse en termes d'effort de développement et d'exploitation.