Eine Produktempfehlungs-App verwendet ein generatives KI-Modell. Das Unternehmen möchte den ökologischen Fußabdruck der Anwendung minimieren. Welcher Ansatz erfüllt dieses Ziel am besten?

Die Optimierung der Modellarchitektur für Recheneffizienz während der Inferenz reduziert den Energieverbrauch und somit den ökologischen Fußabdruck. Eine effizientere Architektur benötigt weniger Rechenressourcen (CPU/GPU) und damit weniger Strom. Die Verwendung mehrerer kleinerer Modelle über Availability Zones hinweg erhöht den Rechenaufwand und damit den Energieverbrauch. Ein hybrider Ansatz mit On-Premise-Bereitstellung kann den ökologischen Fußabdruck erhöhen, da lokale Rechenzentren oft weniger energieeffizient sind als Cloud-Anbieter. Das dynamische, zufällige Auswählen mehrerer Modelle erhöht ebenfalls den Gesamtenergieverbrauch, da mehr Modelle bereitgestellt und potenziell inaktiv gehalten werden müssen.