Una empresa envía registros de AWS WAF a Amazon S3 a través de Amazon Kinesis Data Firehose. Una consulta de Amazon Athena se ejecuta una vez al día para recuperar los registros de WAF de las 24 horas anteriores. Aunque el volumen diario de registros es estable, la consulta tarda cada vez más con el tiempo. Debe evitar que el tiempo de ejecución de la consulta siga aumentando, minimizando al mismo tiempo la sobrecarga operativa. ¿Qué solución cumple estos requisitos?

La opción correcta es modificar Kinesis Data Firehose y la definición de la tabla de Athena para particionar los datos por fecha y hora, y ajustar la consulta de Athena para escanear solo las particiones relevantes. Esto reduce drásticamente la cantidad de datos que Athena necesita escanear en cada ejecución, mejorando el rendimiento de la consulta y evitando el aumento del tiempo de ejecución. La sobrecarga operativa es mínima, ya que Kinesis Data Firehose maneja el particionamiento automáticamente y solo se necesita una actualización de la definición de la tabla de Athena. Crear una función Lambda para consolidar registros en un solo archivo aumentaría el tamaño del archivo, empeorando el problema de rendimiento de Athena. Reducir la cantidad de datos escaneados enviando registros a un bucket de S3 diferente cada día no es una estrategia de particionamiento eficiente y complicaría la gestión de datos. Actualizar Kinesis Data Firehose para particionar y usar Amazon Redshift Spectrum es una solución válida para el rendimiento, pero introduce la complejidad operativa y el costo de Redshift, lo cual no minimiza la sobrecarga operativa.