MLスペシャリストが、複雑なウィンドウ集計を含むPySparkジョブでデータを準備しています。彼らは、異なる特徴量カウントとサンプルサイズがモデルのパフォーマンスにどのように影響するかをテストしたいと考えています。変換パラメータと結果を記録して、データ準備のバリアントを評価および比較できるアプローチはどれですか？

このシナリオでは、データ準備のバリアントを評価・比較するために、変換パラメータと結果を記録する必要があります。Amazon SageMaker Experimentsは、機械学習の実験を追跡、比較、評価するためのサービスであり、スクリプト内でパラメータやメトリクスを簡単に記録できます。SageMaker Processingジョブは、大規模なデータ処理タスクを実行するためのマネージドサービスであり、PySparkジョブの実行に適しています。したがって、SageMaker Experimentsトラッカーでパラメータを記録し、SageMaker Processingジョブで実行する方法が最適です。 SageMaker Debuggerはモデルのトレーニング中のデバッグに特化しており、データ準備のパラメータ追跡には不向きです。AWS GlueジョブはPySparkジョブを実行できますが、SageMaker Experimentsとの統合はSageMaker Processingジョブの方がシームレスです。