Ein Unternehmen möchte einen LLM-basierten Chatbot, der Kundendienstmitarbeitern kontextbezogene, richtlinienbasierte Antworten in Echtzeit liefert. Die Wissensquelle sind die Richtliniendokumente des Unternehmens. Was ist die kostengünstigste Lösung?

Retrieval Augmented Generation (RAG) ist die kostengünstigste Lösung, da sie es dem LLM ermöglicht, auf externe, aktuelle Informationen zuzugreifen, ohne das Modell neu trainieren oder feinabstimmen zu müssen. Das LLM kann so kontextbezogene Antworten basierend auf den Richtliniendokumenten generieren. Das Neutrainieren des gesamten LLM oder das Fine-Tuning sind wesentlich teurer und zeitaufwändiger, da sie umfangreiche Rechenressourcen und Datensatzvorbereitung erfordern. Zusätzliches Vortraining und Datenerweiterung sind ebenfalls rechenintensiv und nicht die effizienteste Methode, um spezifische, sich ändernde Richtlinieninformationen bereitzustellen.