Une entreprise entraîne quotidiennement un modèle d'image CNN en mode Fichier sur une seule instance EC2 à la demande avec une seule époque. Elle ajoute environ 10 000 nouvelles images chaque jour et souhaite accélérer l'entraînement et réduire les coûts sans modifier le code. Quel changement permettra le mieux d'atteindre cet objectif ?

La bonne réponse est d'utiliser des instances Spot et d'activer la sauvegarde des points de contrôle du modèle. Les instances Spot peuvent réduire considérablement les coûts d'entraînement (jusqu'à 90 %) par rapport aux instances à la demande, mais elles peuvent être interrompues. L'activation de la sauvegarde des points de contrôle permet au modèle de reprendre l'entraînement à partir du dernier point de contrôle en cas d'interruption, ce qui réduit le temps d'entraînement global et les coûts. Le passage du mode Fichier au mode Pipe ou FastFile (qui n'est pas un mode SageMaker standard) nécessiterait des modifications du code d'entraînement pour gérer le streaming de données, ce qui va à l'encontre de la contrainte de ne pas modifier le code. Remplacer simplement les instances à la demande par des instances Spot sans points de contrôle risque de perdre tout le travail d'entraînement en cas d'interruption, ce qui augmenterait le temps et les coûts plutôt que de les réduire.