Specjalista ML przygotowuje dane za pomocą zadania PySpark, które obejmuje złożone agregacje okienkowe. Chce przetestować, jak różne liczby cech i rozmiary próbek wpływają na wydajność modelu. Które podejście pozwala mu rejestrować parametry transformacji i wyniki, aby mógł oceniać i porównywać warianty przygotowania danych?

Prawidłowa odpowiedź to użycie trackera Amazon SageMaker Experiments w skrypcie do rejestrowania kluczowych parametrów i uruchomienie skryptu jako zadania przetwarzania SageMaker. SageMaker Experiments jest przeznaczony do śledzenia, organizowania i porównywania iteracji uczenia maszynowego, w tym etapów przetwarzania danych. Pozwala rejestrować parametry transformacji (np. liczba cech, rozmiary próbek) i metryki wydajności. Zadania przetwarzania SageMaker są idealne do uruchamiania zadań PySpark, zapewniając zarządzane środowisko i skalowalność. Pozostałe opcje są mniej odpowiednie: Haki SageMaker Debugger są przeznaczone głównie do monitorowania i debugowania procesów treningowych modeli, a nie do śledzenia parametrów przetwarzania danych i ich wyników. Uruchamianie skryptu jako zadania AWS Glue jest możliwe, ale AWS Glue nie oferuje wbudowanego, zintegrowanego mechanizmu do śledzenia eksperymentów w taki sposób, jak SageMaker Experiments, co utrudnia porównywanie wariantów.