Una empresa utiliza Amazon S3 como data lake y un clúster Amazon Redshift multinodo como data warehouse. Los archivos de datos en el lake están organizados por su origen, y la empresa actualmente emite un comando COPY separado para cada ubicación de archivo para cargar en una única tabla de Redshift, lo cual es lento. La empresa necesita acelerar la ingesta sin aumentar los costos. ¿Qué deberían hacer?

La opción correcta es crear un archivo manifest porque permite que un solo comando COPY de Amazon Redshift cargue datos de múltiples ubicaciones de archivos en S3 de manera eficiente y paralela. Esto reduce la sobrecarga de múltiples comandos COPY y acelera la ingesta sin costos adicionales. Las otras opciones son incorrectas porque: Usar Amazon EMR o AWS Glue para copiar archivos a una sola carpeta antes de cargar en Redshift introduce pasos adicionales y costos operativos que la empresa desea evitar. Cargar datos en Amazon Aurora y luego usar AWS Glue para moverlos a Redshift es un proceso innecesario y costoso, ya que Aurora no es el destino final y añade complejidad.