Je hebt een dataset van 2 TB in Amazon S3 en een getrainde modelcontainer opgeslagen in Amazon ECR. Je moet een kosteneffectieve, schaalbare batch scoring-taak uitvoeren voor de dataset. Welke optie is de meest kosteneffectieve schaalbare oplossing?

De meest kosteneffectieve en schaalbare oplossing is het uitvoeren van scoring met AWS Batch en beheerde Amazon EC2 Spot Instances, gekoppeld aan een Amazon FSx for Lustre-bestandssysteem. AWS Batch is ontworpen voor batchverwerking en kan automatisch schalen met Spot Instances, wat aanzienlijk goedkoper is dan On-Demand of Reserved Instances. FSx for Lustre biedt hoge doorvoer en lage latentie, ideaal voor grote datasets zoals de 2 TB in S3, en kan naadloos integreren met S3. De andere opties zijn minder optimaal: AWS Batch met Reserved Instances is duurder dan Spot Instances. EC2 instance-store volumes zijn vluchtig en minder geschikt voor persistente dataopslag. SageMaker notebooks zijn interactieve ontwikkelomgevingen, niet primair bedoeld voor grootschalige batch scoring, en kunnen minder kosteneffectief zijn dan AWS Batch voor deze taak. SageMaker notebooks met Spot Instances en Amazon EFS: EFS is flexibel maar heeft doorgaans een lagere doorvoer dan FSx for Lustre, wat een bottleneck kan vormen voor een 2 TB dataset.