Un'applicazione per la raccomandazione di prodotti utilizza un modello di intelligenza artificiale generativa. L'azienda vuole ridurre al minimo l'impatto ambientale dell'applicazione. Quale approccio soddisfa meglio questo obiettivo?

Ottimizzare l'architettura del modello distribuito per dare priorità all'efficienza computazionale durante l'inferenza del modello è l'approccio migliore per ridurre l'impatto ambientale. L'inferenza è la fase più frequente e intensiva dal punto di vista computazionale in un'applicazione di raccomandazione, quindi migliorarne l'efficienza riduce significativamente il consumo energetico. Utilizzare più modelli più piccoli o distribuire più modelli casualmente aumenta il consumo di risorse. Un approccio ibrido con distribuzione on-premises potrebbe non essere più efficiente dal punto di vista energetico di un'infrastruttura cloud ottimizzata.