Een SageMaker trainingstaak leest miljoenen S3-bestanden, elk van enkele megabytes groot, en de trainingsprestaties zijn traag. Welke wijziging zal de trainingsdoorvoer het snelst verbeteren?

Het aanmaken van een Amazon FSx for Lustre-bestandssysteem en dit koppelen aan de bestaande S3-bucket is de snelste manier om de trainingsdoorvoer te verbeteren. FSx for Lustre is geoptimaliseerd voor high-performance computing (HPC) workloads en biedt een snelle, parallelle bestandssysteeminterface voor S3-data, wat de I/O-bottleneck bij het lezen van miljoenen kleine bestanden aanzienlijk vermindert. S3 Express One Zone is ontworpen voor single-digit millisecond latency, maar het verplaatsen van miljoenen bestanden naar een nieuwe bucket is tijdrovend en biedt mogelijk niet dezelfde doorvoerwinst als FSx for Lustre voor dit specifieke toegangspatroon. Amazon EFS is een gedeeld bestandssysteem, maar biedt doorgaans lagere doorvoer en hogere latency dan FSx for Lustre voor HPC-workloads. ElastiCache (Redis OSS) is een in-memory datastore en is niet geschikt voor het streamen van miljoenen bestanden van enkele megabytes; het is meer bedoeld voor caching van kleine, vaak geraadpleegde data.