Ein Entwickler hat einen Microservice erstellt, der AWS Lambda verwendet, um Nachrichten aus einer Amazon SQS-Standardwarteschlange zu verarbeiten. Die Lambda-Funktion reichert jede SQS-Nachricht durch Aufrufe externer APIs an und schreibt die Daten dann in eine Amazon Redshift-Tabelle. Die Warteschlange muss bis zu 1.000 Nachrichten pro Sekunde unterstützen. Während des Tests wurden wiederholt doppelte Zeilen in die Redshift-Tabelle eingefügt, da doppelte SQS-Nachrichten verarbeitet wurden; alle doppelten Nachrichten wurden innerhalb einer Minute nacheinander in die Warteschlange gestellt. Wie sollte der Entwickler dieses Problem beheben?

Die korrekte Lösung ist der Wechsel zu einer SQS FIFO-Warteschlange mit aktivierter Nachrichten-Deduplizierung. SQS Standard-Warteschlangen garantieren keine einmalige Zustellung, was zu Duplikaten führen kann. FIFO-Warteschlangen (First-In, First-Out) bieten genau einmalige Verarbeitung und Deduplizierung innerhalb eines 5-Minuten-Fensters, was das Problem der doppelten Zeilen löst, da die Duplikate innerhalb einer Minute auftraten. Das Reduzieren der Lambda-Parallelität verhindert keine doppelten Nachrichten in der Warteschlange. Die Verwendung des lokalen Speichers (/tmp) der Lambda-Funktion ist unzuverlässig, da dieser flüchtig ist und nicht über Funktionsaufrufe hinweg persistiert. Standard-Warteschlangen unterstützen keine Nachrichtengruppen-IDs oder Deduplizierung, diese Funktionen sind exklusiv für FIFO-Warteschlangen.