Uma empresa deseja realizar inferência em dispositivos de borda com a menor latência possível usando modelos de linguagem. Qual abordagem de implantação melhor atinge esse objetivo?

A implantação de Modelos de Linguagem Pequenos (SLMs) otimizados diretamente nos dispositivos de borda é a melhor abordagem para menor latência. SLMs são projetados para serem mais eficientes em termos de computação e memória, tornando-os ideais para ambientes de borda com recursos limitados. A execução direta no dispositivo elimina a necessidade de comunicação de rede, que é a principal causa de latência em cenários de inferência. Modelos de Linguagem Grandes (LLMs) são muito grandes e exigem recursos computacionais significativos, tornando-os inadequados para a maioria dos dispositivos de borda, mesmo quando otimizados. O uso de APIs centralizadas, sejam para SLMs ou LLMs, introduz latência de rede inevitável, pois os dispositivos de borda precisam enviar dados para um servidor remoto e aguardar a resposta. Chamadas assíncronas podem ajudar a gerenciar a carga, mas não reduzem a latência individual de cada inferência.