Een ML-specialist bereidt data voor met een PySpark-job die complexe window-aggregaties omvat. Ze willen testen hoe verschillende feature-aantallen en samplegroottes de modelprestaties beïnvloeden. Welke aanpak stelt hen in staat om transformatieparameters en resultaten vast te leggen, zodat ze datavoorbereidingsvarianten kunnen evalueren en vergelijken?

De juiste aanpak is om een Amazon SageMaker Experiments tracker te gebruiken in het script en dit uit te voeren als een SageMaker processing job. SageMaker Experiments is specifiek ontworpen om machine learning-experimenten te organiseren, te volgen en te vergelijken, inclusief het vastleggen van parameters, metrics en resultaten van datavoorbereiding en modeltraining. Een SageMaker processing job is ideaal voor het uitvoeren van grootschalige datatransformaties, zoals PySpark-jobs, en integreert naadloos met SageMaker Experiments. De andere opties zijn minder geschikt: SageMaker Debugger is primair gericht op het debuggen van modeltraining, niet op het volgen van datavoorbereidingsexperimenten. AWS Glue is een serverloze ETL-service die wel PySpark-jobs kan uitvoeren, maar mist de geïntegreerde experiment-trackingmogelijkheden van SageMaker Experiments, wat het vergelijken van verschillende datavoorbereidingsvarianten bemoeilijkt.