Een fabriek had een pilot die beeldinferentie uitvoerde met AWS IoT Greengrass op een industriële pc, waarbij afbeeldingen werden geüpload naar S3 en een SageMaker-endpoint werd aangeroepen. Bij het opschalen naar duizenden machines raakte de internetbandbreedte verzadigd en is de latentie onacceptabel. Wat is de meest kosteneffectieve manier om de latentie te verminderen en het netwerkcapaciteitsprobleem op te lossen?

De meest kosteneffectieve oplossing is om inferentie lokaal uit te voeren op de Greengrass core-apparaten. Dit vermindert de behoefte aan internetbandbreedte drastisch, omdat afbeeldingen niet langer naar de cloud hoeven te worden geüpload voor inferentie. Dit lost zowel het probleem van de netwerkverzadiging als de hoge latentie op, omdat de inferentie direct op het apparaat plaatsvindt. De optie met Direct Connect verhoogt de bandbreedte, maar is duur en lost het latentieprobleem van inferentie in de cloud niet op. Afbeeldingen comprimeren vermindert de bandbreedte, maar voegt complexiteit en verwerkingslatentie toe, en lost het fundamentele probleem van inferentie in de cloud niet op. SageMaker autoscaling verbetert de verwerking aan de cloudzijde, maar vermindert de netwerkbelasting of latentie van de gegevensoverdracht niet.