Une entreprise a créé un pipeline d'ingestion de données qui utilise Amazon Kinesis Data Firehose pour envoyer les transactions de vente e-commerce vers Amazon OpenSearch Service. L'intervalle de tampon Firehose est défini sur 60 secondes. Un modèle linéaire OpenSearch produit des prévisions de ventes en temps réel qui apparaissent sur un tableau de bord OpenSearch. L'entreprise exige une latence inférieure à la seconde pour le tableau de bord en temps réel. Quel changement architectural permettra d'atteindre cette exigence ?

La latence inférieure à la seconde requise pour le tableau de bord en temps réel est la clé. Kinesis Data Firehose introduit une latence due à la mise en mémoire tampon. Pour réduire cette latence, il faut minimiser le temps de mise en tampon. Définir le flux Firehose pour qu'il utilise une mise en mémoire tampon nulle (ou la plus petite possible) et ajuster la taille de lot de PutRecordBatch permet d'envoyer les données à OpenSearch Service presque instantanément, répondant ainsi à l'exigence de faible latence. Remplacer Firehose par AWS DataSync n'est pas approprié car DataSync est conçu pour le transfert de données à grande échelle entre systèmes de stockage et non pour l'ingestion de flux de données en temps réel. L'augmentation de l'intervalle de tampon de Firehose à 120 secondes augmenterait la latence, allant à l'encontre de l'exigence. Remplacer Firehose par une file d'attente Amazon SQS introduirait une couche d'intermédiation supplémentaire et nécessiterait un mécanisme de consommation distinct pour pousser les données vers OpenSearch, ce qui ne garantirait pas une latence inférieure à la seconde sans une architecture de consommation très spécifique.