U moet een ETL-pipeline bouwen die elke 15 minuten bestanden (CSV, JSON of Parquet) van 10 bronsystemen in 10 Amazon Redshift-tabellen opneemt. Alle bestanden komen terecht in één S3-bucket; de bestandsgroottes variëren van 10 MB tot 20 GB. De pipeline moet schemaconformiteit kunnen tolereren. Welke oplossingen voldoen aan deze vereisten? (Kies er twee.)

De twee correcte opties bieden robuuste en schaalbare oplossingen voor de gespecificeerde ETL-pipeline. De eerste correcte optie gebruikt een EventBridge-regel om elke 15 minuten een AWS Glue-workflow te starten. Deze workflow omvat een Glue crawler voor schemadetectie en een Glue-taak voor gegevensverwerking en laden naar Redshift. Dit voldoet aan de vereiste van periodieke uitvoering en schemaconformiteit. De tweede correcte optie gebruikt een Lambda-functie die wordt geactiveerd bij het uploaden van een bestand naar S3. Deze Lambda-functie roept vervolgens een AWS Glue-workflow aan die, net als in de eerste optie, een crawler en een Glue-taak uitvoert. Dit is ideaal voor event-gedreven verwerking en voldoet ook aan de vereisten voor schemaconformiteit en het laden naar Redshift. De optie die alleen een AWS Glue-taak gebruikt zonder crawler, mist de mogelijkheid om schemaconformiteit te tolereren, wat een belangrijke vereiste is. De optie met meerdere Lambda-functies en handmatige orkestratie is complexer en minder efficiënt dan een Glue-workflow. De optie die Kinesis Data Firehose gebruikt, is niet optimaal voor de variërende bestandsgroottes (tot 20 GB) en de behoefte aan schemadetectie via een crawler, en voegt onnodige complexiteit toe.