Een socialmediabedrijf gaat een beeldclassificatiemodel (met behulp van SageMaker's ingebouwde beeldclassificatie) trainen om aanstootgevende inhoud te detecteren. Ze zullen de pipe-modus gebruiken om de training te versnellen. De dataset is opgesplitst in Training-, Validatie- en Testmappen, met submappen voor klassen, afbeeldingen uniform geschaald, en twee manifestbestanden genaamd training.lst en validation.lst. Ze hebben afzonderlijke S3-buckets gemaakt voor trainings- en validatie-uploads. Welke aanvullende gegevensvoorbereidingsstap moeten ze uitvoeren voordat ze naar S3 uploaden?

De correcte optie is het converteren van de manifests naar RecordIO-bestanden met behulp van het im2rec-hulpprogramma van Apache MXNet en deze vervolgens uploaden naar S3. SageMaker's ingebouwde beeldclassificatie-algoritme, vooral bij gebruik van pipe-modus, presteert het beste met RecordIO-bestanden. RecordIO is een geoptimaliseerd bestandsformaat voor MXNet dat efficiënte I/O mogelijk maakt, wat cruciaal is voor snelle training in pipe-modus. De pipe-modus streamt gegevens rechtstreeks van S3 naar de training-instances, en RecordIO is ontworpen om dit proces te versnellen door gegevens in een gecomprimeerd en geordend formaat te bewaren. De andere opties zijn incorrect omdat: Pandas DataFrames en Parquet-bestanden zijn niet het geoptimaliseerde formaat voor beeldclassificatie in SageMaker met pipe-modus. Parquet is meer geschikt voor tabulaire data. Het comprimeren van mappen met Snappy of Gzip en het uploaden van de manifestbestanden is niet voldoende. Hoewel compressie nuttig is, vereist het ingebouwde algoritme een specifiek geordend formaat zoals RecordIO voor optimale prestaties in pipe-modus. De manifestbestanden alleen zijn niet voldoende om de afbeeldingen efficiënt te streamen.