Une entreprise de géospatial stocke quotidiennement des images satellite dans Amazon S3 pour la détection de navires. Les données d'entraînement augmentent de manière incrémentielle et une tâche d'entraînement SageMaker utilisant une seule instance ml.p2.xlarge en mode d'entrée Fichier a récemment commencé à échouer en raison d'un espace de stockage local insuffisant ; le seul changement était l'ajout de données. La solution doit résoudre le problème de stockage tout en optimisant les performances et en minimisant les coûts d'entraînement. Quel changement le spécialiste ML doit-il apporter ?

Le mode d'entrée Pipe (canalisation) est la solution la plus efficace car il diffuse les données directement depuis S3 vers l'instance d'entraînement, évitant ainsi de télécharger l'ensemble du jeu de données sur le stockage local de l'instance. Cela résout le problème d'espace disque insuffisant sans augmenter les coûts d'instance ou le temps d'entraînement. L'utilisation de deux instances ml.p2.xlarge augmenterait les coûts et ne résoudrait pas nécessairement le problème si chaque instance tente toujours de télécharger l'intégralité du jeu de données. L'utilisation d'une instance ml.p3.2xlarge (plus puissante) augmenterait les coûts et ne garantirait pas un espace de stockage local suffisant pour un jeu de données en croissance. Amazon EFS n'est pas une solution standard pour les données d'entraînement SageMaker et introduirait une complexité et des coûts supplémentaires sans les avantages de performance du mode Pipe.