Bir şirket birden fazla ML tahmin modeli oluşturacaktır. Eğitim verileri Amazon S3'te depolanır ve tüm veri seti 5 TB'tan büyüktür ve CSV, JSON, Parquet ve metin dosyaları içerir. Verilerin, karmaşık dönüşümler ve çalışması saatler sürebilen bazı NLP çalışmaları içeren birkaç ardışık işleme adımından geçmesi gerekir. Tüm sürecin otomatikleştirilmesi gerekmektedir. Bu ihtiyaçları hangi çözüm karşılar?

Amazon SageMaker Pipelines, ML iş akışlarını uçtan uca otomatikleştirmek için tasarlanmıştır. Karmaşık dönüşümler ve NLP çalışmaları dahil olmak üzere birden fazla ardışık işleme adımını bir araya getirerek, büyük veri kümeleri (5 TB'tan fazla) üzerinde ölçeklenebilir ve yönetilebilir bir çözüm sunar. EventBridge ile entegrasyon, tüm sürecin otomatik olarak tetiklenmesini ve çalışmasını sağlar. Diğer seçenekler neden uygun değil: SageMaker Data Wrangler, veri hazırlığı için harika olsa da, birden fazla karmaşık ardışık işleme adımını ve NLP çalışmalarını içeren uçtan uca bir ML iş akışını yönetmek için yeterince esnek değildir. SageMaker notebook'ları etkileşimli geliştirme için uygundur, ancak saatler süren işleri otomatikleştirmek ve yönetmek için ideal değildir; bu, manuel müdahale gerektirebilir veya hata yönetimi zor olabilir. AWS Lambda fonksiyonları kısa süreli, olay odaklı görevler için tasarlanmıştır. Saatler sürebilecek karmaşık veri işleme ve NLP çalışmaları için uygun değildirler ve bu tür işler için zaman aşımı limitleri aşılabilir.