Un desarrollador creó un microservicio que utiliza AWS Lambda para procesar mensajes de una cola estándar de Amazon SQS. La función Lambda enriquece cada mensaje de SQS llamando a API externas y luego escribe los datos en una tabla de Amazon Redshift. La cola debe admitir hasta 1000 mensajes por segundo. Durante las pruebas, se insertaron repetidamente filas duplicadas en la tabla de Redshift porque se procesaron mensajes SQS duplicados; todos los mensajes duplicados se encolaron con un minuto de diferencia entre sí. ¿Cómo debería el desarrollador solucionar este problema?

La opción correcta es cambiar a una cola SQS FIFO y habilitar la deduplicación de mensajes. Las colas SQS FIFO (First-In, First-Out) garantizan que los mensajes se procesen exactamente una vez y en el orden exacto en que se envían. La deduplicación de mensajes en SQS FIFO evita que se entreguen mensajes duplicados a los consumidores durante un período de deduplicación de 5 minutos, lo que resuelve el problema de las filas duplicadas en Redshift. Reducir la concurrencia de Lambda no resuelve la duplicación, solo limita cuántas invocaciones pueden ejecutarse simultáneamente. Usar el almacenamiento local temporal de Lambda no es confiable para el seguimiento de mensajes procesados, ya que el estado se pierde entre invocaciones o cuando la función se descarga. Asignar un Message Group ID a una cola estándar de SQS no habilita la deduplicación; la deduplicación es una característica exclusiva de las colas FIFO.