Uma fábrica tinha um piloto que executava inferência de imagem usando AWS IoT Greengrass em um PC industrial, fazendo upload de imagens para o S3 e invocando um endpoint do SageMaker. Ao escalar para milhares de máquinas, a largura de banda da internet ficou saturada e a latência se tornou inaceitável. Qual é a maneira mais econômica de reduzir a latência e resolver o problema de capacidade da rede?

A opção correta é implantar a inferência e o modelo localmente no AWS IoT Greengrass. Isso move a inferência para a borda, eliminando a necessidade de enviar grandes volumes de dados de imagem para a nuvem para cada inferência, o que resolve diretamente os problemas de saturação de largura de banda e latência. Os resultados da inferência, que são dados muito menores, podem então ser enviados para a nuvem ou para um serviço web local. As outras opções são incorretas porque: Provisionar um Direct Connect de 10 Gbps é caro e não resolve o problema fundamental de latência para inferência em tempo real na borda, além de não ser a solução mais econômica. Compactar imagens reduz a largura de banda, mas ainda exige o upload para a nuvem e a descompactação, o que adiciona latência e complexidade, sem resolver a necessidade de inferência na borda. Habilitar o autoescalonamento do SageMaker melhora a capacidade na nuvem, mas não aborda a latência e a saturação da rede causadas pelo envio de dados da borda para a nuvem.