Firma utworzy wiele modeli predykcyjnych ML. Dane treningowe są przechowywane w Amazon S3, a cały zestaw danych jest większy niż 5 TB i zawiera pliki CSV, JSON, Parquet i tekstowe. Dane muszą przejść przez kilka sekwencyjnych etapów przetwarzania, które obejmują złożone transformacje i niektóre prace NLP, które mogą trwać godzinami. Cały proces musi być zautomatyzowany. Które rozwiązanie spełnia te potrzeby?

Amazon SageMaker Pipelines to zarządzana usługa do tworzenia, automatyzacji i zarządzania kompleksowymi przepływami pracy uczenia maszynowego (ML). Jest to idealne rozwiązanie dla złożonych, sekwencyjnych etapów przetwarzania danych, w tym transformacji i NLP, które mogą trwać długo. Obsługuje różne formaty danych i duże zbiory danych przechowywane w S3. Integracja z Amazon EventBridge pozwala na automatyczne wyzwalanie potoku, zapewniając pełną automatyzację. Inne opcje są mniej odpowiednie: Amazon SageMaker Data Wrangler jest świetny do eksploracji i przygotowania danych, ale nie jest przeznaczony do orkiestracji złożonych, wieloetapowych potoków ML na dużą skalę. Notatniki Amazon SageMaker są interaktywne i służą do eksperymentowania, a nie do automatyzacji produkcyjnych przepływów pracy. Funkcje AWS Lambda mają limit czasu wykonania (do 15 minut), co uniemożliwia ich użycie do zadań trwających godzinami.