Un ingeniero de datos configuró un AWS Glue Data Catalog para objetos en S3 y necesita actualizaciones incrementales. Las notificaciones de eventos de S3 se envían a una cola de SQS. ¿Qué combinación de pasos proporciona actualizaciones incrementales del catálogo con la menor sobrecarga operativa? (Elija dos)

Para actualizaciones incrementales con baja sobrecarga operativa, un crawler de AWS Glue basado en eventos de S3 que lee de una cola SQS es una excelente opción. Este crawler se activa automáticamente por los eventos de S3, descubriendo nuevos datos o cambios de esquema y actualizando el Data Catalog de forma eficiente sin intervención manual. Alternativamente, una función de AWS Lambda puede procesar los eventos de S3 de la cola SQS y actualizar directamente el Data Catalog. Esto ofrece un control granular y puede ser más rentable para volúmenes de eventos muy altos o lógica de actualización compleja. Programar un crawler de Glue (opción incorrecta) es menos eficiente para actualizaciones incrementales, ya que escanea periódicamente todo el conjunto de datos, lo que aumenta los costos y el tiempo de procesamiento. Activar manualmente el crawler (opción incorrecta) introduce una sobrecarga operativa significativa y no es escalable. Usar AWS Step Functions (opción incorrecta) es una solución de orquestación más compleja de lo necesario para esta tarea específica, añadiendo una sobrecarga innecesaria.