Een bedrijf traint modellen in SageMaker met behulp van 200 TB aan data die is opgeslagen in S3. De dataset bestaat uit veel bestanden, elk groter dan 200 MB. Het bedrijf wil de snelste verwerkingstijd met minimale configuratie-inspanning. Welke methode voor gegevenstoegang moeten ze gebruiken?

SageMaker FastFile mode (voorheen bekend als Pipe mode) is de meest efficiënte methode voor deze use case. Het streamt de gegevens rechtstreeks van S3 naar de trainingsinstantie, wat de verwerkingstijd verkort omdat het wachten op volledige datakopieën elimineert en de I/O-doorvoer optimaliseert voor grote bestanden. Dit minimaliseert ook de configuratie-inspanning. SageMaker File mode kopieert de gehele 200 TB dataset naar de lokale opslag van de instantie, wat extreem lang duurt en onnodig is voor bestanden die on-demand kunnen worden gestreamd. Amazon FSx for Lustre is een performante optie voor grote datasets en kan gekoppeld worden aan S3, maar vereist extra configuratie en beheer in vergelijking met FastFile mode. Amazon EFS is een gedeeld bestandssysteem, maar heeft doorgaans een lagere doorvoer en hogere latentie dan FSx for Lustre of FastFile mode, en is daarom minder geschikt voor de vereiste snelle verwerking van 200 TB aan grote bestanden.