Uma empresa criará vários modelos de previsão de ML. Os dados de treinamento são armazenados no Amazon S3 e o conjunto de dados completo tem mais de 5 TB e contém arquivos CSV, JSON, Parquet e de texto. Os dados devem passar por várias etapas de processamento sequenciais que incluem transformações complexas e algum trabalho de PNL que pode levar horas para ser executado. Todo o processo deve ser automatizado. Qual solução atende a essas necessidades?

A opção de criar um fluxo de trabalho do Amazon SageMaker Pipelines e acioná-lo com o Amazon EventBridge é a mais adequada porque o SageMaker Pipelines é projetado para orquestrar fluxos de trabalho de ML complexos e sequenciais, incluindo pré-processamento de dados, treinamento de modelos e avaliação, o que se alinha perfeitamente com as necessidades de transformações complexas e processamento de PNL que podem levar horas. Ele suporta a integração com o Amazon S3 para dados de entrada e pode lidar com grandes volumes de dados (mais de 5 TB) e diversos formatos (CSV, JSON, Parquet, texto). O EventBridge permite a automação do pipeline com base em agendamentos ou eventos, garantindo que o processo seja executado automaticamente. O Amazon SageMaker Data Wrangler é excelente para preparação de dados, mas não é ideal para orquestrar um fluxo de trabalho completo com múltiplas etapas sequenciais complexas e PNL. Notebooks do Amazon SageMaker são interativos e ótimos para desenvolvimento e experimentação, mas não são a melhor ferramenta para automação de fluxos de trabalho de produção em larga escala. Funções AWS Lambda são sem servidor e ideais para tarefas de curta duração e sem estado; elas não são adequadas para processamento de dados que leva horas e pode exigir recursos computacionais significativos, como as transformações complexas e PNL mencionadas.