Een bedrijf bewaart CSV-bestanden in Amazon S3. Een data-engineer moet de CSV's transformeren en de resultaten naar een nieuwe S3-bucket schrijven. De vereiste transformaties zijn: een kolom hernoemen, specifieke kolommen verwijderen, de tweede rij van elk bestand overslaan, een nieuwe kolom maken die is afgeleid van waarden in de eerste rij, en rijen filteren op een numerieke kolom. Welke optie voldoet aan deze vereisten met de minste ontwikkelingsinspanning?

AWS Glue DataBrew is een visuele data-voorbereidingstool die de meeste van de genoemde transformaties (kolom hernoemen, kolommen verwijderen, rijen filteren) kan uitvoeren met behulp van een recept. Het overslaan van de tweede rij en het creëren van een nieuwe kolom op basis van de eerste rij zijn ook functies die DataBrew ondersteunt, vaak met minder ontwikkelingsinspanning dan het schrijven van code. AWS Glue Python jobs vereisen het schrijven van PySpark-code, wat meer ontwikkelingsinspanning vergt. Een AWS Glue custom crawler is bedoeld voor het ontdekken van schema's, niet voor datatransformatie. Een AWS Glue workflow coördineert jobs, maar voert zelf geen transformaties uit; het zou nog steeds een onderliggende transformatietool nodig hebben.