Een bedrijf migreert SQL Server-databases van EC2 naar Amazon RDS for SQL Server. Totdat de migratie is voltooid, moet het analyseteam dagelijks grote, gekoppelde data-elementen in Apache Parquet-formaat exporteren naar Amazon S3. Welke oplossing is HET MEEST operationeel efficiënt?

De correcte optie is het meest operationeel efficiënt omdat AWS Glue een serverloze ETL-service is die naadloos integreert met SQL Server (via JDBC-connectoren) en S3. Het kan direct vanuit een SQL Server-view lezen, de gegevens transformeren naar Parquet-formaat en deze naar S3 schrijven, allemaal binnen één geplande taak. Dit minimaliseert de operationele overhead. De optie met SQL Server Agent en Lambda voor CSV naar Parquet-conversie introduceert extra stappen en complexiteit, zoals het beheren van de SQL Server Agent en het ontwikkelen en onderhouden van een Lambda-functie voor transformatie. De optie met een AWS Glue-crawler voor de view is minder efficiënt omdat een crawler voornamelijk bedoeld is voor het ontdekken van schema's en metadata, niet voor het dagelijks extraheren van data. De daaropvolgende Glue-taak zou nog steeds nodig zijn. De optie met een Lambda-functie die JDBC gebruikt, vereist het schrijven en onderhouden van code voor data-extractie, transformatie en laden, wat meer ontwikkelings- en operationele inspanningen met zich meebrengt dan het configureren van een Glue-taak.