Una fabbrica aveva un progetto pilota che eseguiva l'inferenza di immagini utilizzando AWS IoT Greengrass su un PC industriale, caricando le immagini su S3 e richiamando un endpoint SageMaker. Quando si è passati a migliaia di macchine, la larghezza di banda di Internet è diventata satura e la latenza inaccettabile. Qual è il modo più conveniente per ridurre la latenza e risolvere il problema di capacità della rete?

La soluzione corretta riduce la latenza e la saturazione della rete eseguendo l'inferenza direttamente sul dispositivo edge (PC industriale) utilizzando AWS IoT Greengrass. Distribuendo la Lambda di inferenza e il modello localmente, le immagini non devono più essere caricate su S3 per l'inferenza, eliminando il traffico di rete intensivo e la dipendenza dalla larghezza di banda di Internet. I risultati dell'inferenza, molto più piccoli delle immagini originali, vengono poi inoltrati al servizio web in loco, minimizzando ulteriormente l'utilizzo della rete. Le opzioni errate non risolvono il problema in modo efficiente: Provisionare un collegamento Direct Connect da 10 Gbps è costoso e non elimina la latenza intrinseca del trasferimento di migliaia di immagini di grandi dimensioni al cloud. Aumentare le istanze SageMaker non risolve il collo di bottiglia della rete. Comprimere le immagini riduce la larghezza di banda ma introduce latenza aggiuntiva per la compressione e decompressione, e il trasferimento rimane significativo per migliaia di macchine. Abilitare l'autoscaling di SageMaker non risolve il problema della latenza o della saturazione della rete per il caricamento delle immagini. Un Direct Connect, pur migliorando la connettività, non elimina la necessità di trasferire tutte le immagini, che è il problema principale.