Un spécialiste ML prépare des données avec un job PySpark qui inclut des agrégations de fenêtre complexes. Il souhaite tester comment différents nombres de fonctionnalités et tailles d'échantillons affectent les performances du modèle. Quelle approche lui permet d'enregistrer les paramètres de transformation et les résultats afin qu'il puisse évaluer et comparer les variantes de préparation des données ?

L'approche correcte consiste à utiliser un tracker Amazon SageMaker Experiments dans le script et à l'exécuter en tant que job de traitement SageMaker. SageMaker Experiments est conçu pour suivre les paramètres, les métriques et les artefacts des tâches de ML, y compris les étapes de préparation des données. Un job de traitement SageMaker est idéal pour exécuter des scripts PySpark pour la préparation des données, car il fournit un environnement géré et évolutif. SageMaker Debugger est principalement utilisé pour surveiller et déboguer les tâches d'entraînement de modèles, pas pour suivre les paramètres de transformation des données ou exécuter des tâches de préparation des données. L'exécution du script en tant que job AWS Glue est possible, mais AWS Glue n'offre pas les capacités de suivi d'expériences intégrées de SageMaker Experiments, ce qui rend plus difficile la comparaison des variantes de préparation des données.