Vous avez besoin d'un pipeline d'ingestion et d'analyse en temps réel, sans serveur, pour des événements JSON en streaming à volume élevé. Le pipeline doit mettre les données en mémoire tampon, convertir le JSON en un format en colonnes optimisé pour les requêtes sans perte de données, stocker les résultats dans un magasin de données hautement disponible et permettre aux analystes d'exécuter des requêtes SQL et de connecter des tableaux de bord de BI. Quelle conception répond le mieux à ces exigences ?

Cette option est la meilleure car elle utilise un service de livraison en streaming géré (comme Amazon Kinesis Data Firehose) pour l'ingestion et la mise en mémoire tampon, qui peut directement transformer le JSON en formats colonnaires optimisés (Parquet/ORC) en utilisant un catalogue de données (comme AWS Glue Data Catalog) et stocker les résultats dans un stockage d'objets (Amazon S3). Un moteur de requête SQL sans serveur (comme Amazon Athena) peut ensuite interroger S3, et les outils de BI peuvent se connecter via JDBC. Les autres options impliquent des étapes de traitement plus complexes ou moins efficaces, comme le traitement record par record via des fonctions sans serveur, ou l'insertion dans des bases de données relationnelles qui ne sont pas idéales pour l'analyse de grands volumes de données brutes.