Eine Fabrik führte einen Pilotversuch durch, bei dem AWS IoT Greengrass auf einem Industrie-PC zur Bildinferenz verwendet wurde. Dabei wurden Bilder nach S3 hochgeladen und ein SageMaker-Endpunkt aufgerufen. Beim Skalieren auf Tausende von Maschinen wurde die Internetbandbreite gesättigt, und die Latenz ist inakzeptabel. Was ist der kostengünstigste Weg, um die Latenz zu reduzieren und das Problem der Netzwerkkapazität zu lösen?

Die Bereitstellung der Inferenz-Lambda und des Modells lokal auf dem AWS IoT Greengrass Core ist die kostengünstigste Lösung. Dies eliminiert die Notwendigkeit, Bilder zur Inferenz in die Cloud hochzuladen, wodurch die Internetbandbreite entlastet und die Latenz erheblich reduziert wird, da die Inferenz direkt am Edge erfolgt. Die Option mit AWS Direct Connect ist teuer und löst das Problem der Latenz nicht vollständig, da die Daten immer noch zur Cloud übertragen werden müssen. Das Komprimieren von Bildern reduziert zwar die Bandbreite, erfordert aber zusätzliche Verarbeitungszeit und löst das Latenzproblem nicht so effektiv wie die lokale Inferenz. Das Aktivieren von SageMaker-Autoscaling verbessert die Skalierbarkeit in der Cloud, adressiert aber nicht die Netzwerkengpässe am Edge.