Une usine a mené un projet pilote qui exécutait l'inférence d'images à l'aide d'AWS IoT Greengrass sur un PC industriel, en téléchargeant des images vers S3 et en invoquant un endpoint SageMaker. Lors de la mise à l'échelle à des milliers de machines, la bande passante Internet est devenue saturée et la latence est inacceptable. Quelle est la méthode la plus rentable pour réduire la latence et résoudre le problème de capacité réseau ?

La solution la plus rentable et efficace pour réduire la latence et la saturation du réseau est de déplacer l'inférence en périphérie (edge). Déployer la fonction Lambda d'inférence et le modèle directement sur les PC industriels via AWS IoT Greengrass permet d'exécuter l'inférence localement, éliminant ainsi le besoin de télécharger des milliers d'images vers S3 et d'invoquer un endpoint SageMaker distant pour chaque inférence. Cela réduit drastiquement la bande passante Internet requise et la latence, car les résultats sont traités et transmis localement. Les autres options sont moins optimales : Provisionner Direct Connect et augmenter les instances SageMaker est coûteux et ne résout pas fondamentalement le problème de la bande passante pour le téléchargement des images, ni la latence inhérente aux requêtes cloud. Compresser les images réduit la bande passante mais introduit une latence supplémentaire pour la compression/décompression et ne supprime pas la dépendance à l'inférence cloud. Activer l'autoscaling SageMaker gère la capacité côté cloud mais n'adresse pas la saturation de la bande passante Internet depuis l'usine.