Een telemetrie-pipeline voor satellieten plaatst kleine datapakketten in een Amazon SQS standard queue. Een downstream applicatie transformeert de berichten, maar kan soms bepaalde berichten niet transformeren; deze mislukte berichten blijven in de SQS-wachtrij. De DevOps engineer moet mislukte berichten bewaren en beschikbaar maken voor wetenschappers voor beoordeling en latere herverwerking. Welke oplossing voldoet aan deze eisen?

De correcte oplossing is het aanmaken van een SQS dead-letter queue (DLQ). Een DLQ is specifiek ontworpen om berichten op te vangen die niet succesvol verwerkt kunnen worden door de consumententoepassing. Door het redrive policy van de bronwachtrij in te stellen op 1 maximum receive, worden berichten die na één poging niet verwerkt kunnen worden, automatisch naar de DLQ verplaatst. Dit voldoet aan de eis om mislukte berichten te bewaren en beschikbaar te maken voor wetenschappers voor beoordeling en herverwerking. De andere opties zijn minder geschikt: AWS Lambda pollen en naar S3 kopiëren is een handmatige en complexere oplossing dan de ingebouwde DLQ-functionaliteit. Een standaardwachtrij converteren naar FIFO is onnodig en de voorgestelde Lambda-logica is complex en kan leiden tot verlies van berichten of onjuiste verwerking. API Gateway en virtuele wachtrijen is een onnodig complexe architectuur voor dit specifieke probleem en lost het probleem van onverwerkbare berichten niet efficiënt op.