Een ontwikkelaar heeft een microservice gebouwd die AWS Lambda gebruikt om berichten te verwerken vanuit een Amazon SQS standaardwachtrij. De Lambda-functie verrijkt elk SQS-bericht door externe API's aan te roepen en schrijft vervolgens de gegevens naar een Amazon Redshift-tabel. De wachtrij moet tot 1.000 berichten per seconde ondersteunen. Tijdens het testen werden herhaaldelijk dubbele rijen in de Redshift-tabel ingevoegd omdat dubbele SQS-berichten werden verwerkt; alle dubbele berichten werden binnen 1 minuut na elkaar in de wachtrij geplaatst. Hoe moet de ontwikkelaar dit probleem oplossen?

De juiste oplossing is om over te schakelen naar een SQS FIFO-wachtrij en berichtdeduplicatie in te schakelen. FIFO-wachtrijen garanderen de volgorde van berichten en ondersteunen deduplicatie, wat essentieel is om te voorkomen dat dubbele berichten worden verwerkt, vooral wanneer deze kort na elkaar worden verzonden. De vereiste van 1.000 berichten per seconde is binnen de limieten van FIFO-wachtrijen. Het verlagen van de gelijktijdigheid van de Lambda-functie lost het probleem van dubbele berichten niet op; het kan de verwerking vertragen. Het gebruik van lokale opslag (/tmp) in Lambda is geen betrouwbare methode voor deduplicatie over meerdere Lambda-invocaties heen, aangezien de opslag vluchtig is en niet gedeeld wordt. Het toewijzen van een message group ID aan elk bericht is relevant voor FIFO-wachtrijen, maar standaard SQS-wachtrijen ondersteunen geen deduplicatie op basis van message group ID's en bieden geen garantie voor volgorde of deduplicatie.