Sie haben einen 2 TB großen Datensatz in Amazon S3 und einen trainierten Modellcontainer, der in Amazon ECR gespeichert ist. Sie müssen einen kostengünstigen, skalierbaren Batch-Scoring-Job für den Datensatz ausführen. Welche Option ist die kostengünstigste skalierbare Lösung?

Die kostengünstigste und skalierbarste Lösung für Batch-Scoring eines großen Datensatzes ist AWS Batch mit verwalteten Amazon EC2 Spot Instances. Spot Instances bieten erhebliche Kosteneinsparungen im Vergleich zu On-Demand- oder Reserved Instances. AWS Batch verwaltet die Skalierung und Job-Ausführung effizient. Amazon FSx for Lustre ist ein leistungsstarkes Dateisystem, das für rechenintensive Workloads optimiert ist und den schnellen Zugriff auf den 2 TB großen Datensatz ermöglicht, was für Batch-Scoring entscheidend ist. Die anderen Optionen sind weniger geeignet: Reserved Instances sind teurer als Spot Instances. EC2 Instance Store ist flüchtig und nicht ideal für persistente Daten. SageMaker Notebooks sind interaktive Entwicklungsumgebungen, nicht für kostengünstiges, skalierbares Batch-Scoring großer Datensätze konzipiert. EBS-Volumes sind für einzelne Instances gedacht und bieten nicht die Leistung und Skalierbarkeit von FSx for Lustre für verteilte Workloads. SageMaker Notebooks und EFS sind ebenfalls nicht die optimale Wahl für diese Art von Workload, da EFS höhere Latenzzeiten als FSx for Lustre aufweisen kann und Notebooks nicht für Batch-Verarbeitung ausgelegt sind.