VideoAI stocke 40 To de trames vidéo brutes dans S3 et s'entraîne sur des instances GPU qui ne disposent que de 1 To de stockage d'instance. Leur boucle d'entraînement lit le jeu de données séquentiellement pendant plusieurs époques et peut diffuser des enregistrements à partir d'interfaces compatibles stdin. Quel mode d'entrée SageMaker devraient-ils choisir et pourquoi ?

Le mode Pipe est le bon choix car il permet au conteneur d'entraînement de diffuser les données directement depuis S3, sans nécessiter le téléchargement complet du jeu de données (40 To) sur le stockage d'instance limité (1 To). Cela est essentiel lorsque le jeu de données est beaucoup plus grand que le stockage disponible et que l'algorithme peut traiter les données de manière séquentielle, comme c'est le cas ici. Le mode Fichier est incorrect car il nécessite de télécharger l'intégralité du jeu de données avant l'entraînement, ce qui n'est pas possible avec 1 To de stockage pour 40 To de données. L'extension automatique du disque n'est pas une fonctionnalité standard pour le mode Fichier. L'option EBSVolumeSize n'est pas nécessaire avec le mode Pipe car les données sont diffusées à la demande. Monter S3 comme système de fichiers POSIX n'est pas un mode d'entrée SageMaker standard et ne résout pas le problème de la taille du stockage.