VideoAI slaat 40 TB aan ruwe video frames op in S3 en traint op GPU-instances die slechts 1 TB aan instance storage hebben. Hun trainingsloop leest de dataset sequentieel gedurende meerdere epochs en kan records streamen vanaf stdin-compatibele interfaces. Welke SageMaker invoermodus moeten ze kiezen en waarom?

De correcte optie is Pipe mode (InputMode='Pipe'). Deze modus stelt de trainingscontainer in staat om data direct vanuit S3 te streamen, wat essentieel is wanneer de dataset (40 TB) veel groter is dan de beschikbare lokale opslag (1 TB). Aangezien de trainingsloop de dataset sequentieel leest en streaming ondersteunt, is Pipe mode de meest efficiënte keuze. Het voorkomt de noodzaak om de hele dataset te downloaden, wat tijd en opslagruimte bespaart. File mode (InputMode='File') is ongeschikt omdat het vereist dat de gehele dataset naar de lokale schijf wordt gedownload voordat de training begint. Dit is onmogelijk gezien de datasetgrootte van 40 TB en de 1 TB instance storage. SageMaker breidt de instance disk niet automatisch uit tot 40 TB. Het instellen van EBSVolumeSize op 50 TB is niet nodig en kostbaar, aangezien Pipe mode streaming toestaat zonder de noodzaak van grote lokale opslag. Bovendien zou het downloaden van 40 TB naar EBS nog steeds aanzienlijke tijd in beslag nemen. Het koppelen van S3 als een POSIX-bestandssysteem is geen standaard SageMaker-invoermodus en introduceert complexiteit en mogelijke prestatieproblemen, in tegenstelling tot de geoptimaliseerde Pipe mode.