StreamVid onderhoudt terabytes aan onbewerkte CSV-logs in S3 en heeft geautomatiseerde profilering en herhaalbare transformatie nodig (timestamps parsen, kolommen met lage cardinaliteit verwijderen, converteren naar Parquet) vóór de training. Welke DataBrew-workflow voldoet het beste aan deze vereisten en wat moet worden gegarandeerd voor geplande runs?

De correcte optie beschrijft de standaard en meest efficiënte workflow met AWS Glue DataBrew voor de gegeven vereisten. DataBrew is specifiek ontworpen voor data-profilering, -opschoning en -transformatie zonder code. Het kan CSV-bestanden verwerken, profileringsjobs uitvoeren, recepten (transformatie stappen) opslaan en herhaalbare jobs plannen die output naar S3 schrijven, inclusief in Parquet-formaat. Essentieel is het correct configureren van IAM-rechten (S3 lees-/schrijfrechten) en netwerktoegang (VPC) voor de DataBrew-job. De andere opties zijn minder geschikt: AWS Glue ETL is een alternatief, maar DataBrew is meer geschikt voor de "no-code" profilering en transformatie die hier wordt gevraagd. DataBrew kan wel degelijk geplande jobs uitvoeren en Parquet schrijven. SageMaker Data Wrangler is ook een optie voor data-voorbereiding, maar de bewering dat DataBrew geen Parquet-outputs of geplande runs kan produceren, is onjuist. Een Lambda-functie schrijven voor deze complexe transformaties is een handmatige en schaalbare oplossing die meer ontwikkelingsinspanning vereist dan DataBrew, dat dit out-of-the-box biedt.