Un'azienda desidera eseguire inferenze su dispositivi edge con la latenza più bassa possibile utilizzando modelli linguistici. Quale approccio di deployment raggiunge meglio questo obiettivo?

Per ottenere la latenza più bassa possibile sui dispositivi edge, è fondamentale elaborare i dati localmente. Il deployment di modelli linguistici piccoli (SLM) ottimizzati direttamente sui dispositivi edge consente l'inferenza in loco, eliminando la necessità di comunicare con un server remoto e riducendo drasticamente la latenza di rete. I modelli grandi (LLM) sono troppo complessi e richiedono troppe risorse computazionali per la maggior parte dei dispositivi edge. L'utilizzo di API centralizzate, sia per SLM che per LLM, introduce sempre una latenza di rete inevitabile, anche con chiamate asincrone, che non soddisfa il requisito di "latenza più bassa possibile".