Un'azienda desidera un chatbot basato su LLM per fornire agli agenti del servizio clienti risposte contestuali e basate su policy in tempo reale. La fonte di conoscenza sono i documenti delle policy aziendali. Qual è la soluzione più conveniente?

La Retrieval Augmented Generation (RAG) è la soluzione più conveniente perché consente all'LLM di accedere a informazioni aggiornate e specifiche della policy senza la necessità di un costoso e dispendioso riaddestramento o ottimizzazione. Il RAG recupera i documenti pertinenti in tempo reale e li fornisce all'LLM come contesto, garantendo risposte accurate e basate sulle policy. Il riaddestramento dell'intero LLM o l'ottimizzazione richiederebbero risorse computazionali significative e tempo, e sarebbero difficili da mantenere aggiornati con le modifiche delle policy. Il pre-training aggiuntivo e l'aumento dei dati sono processi costosi e complessi che non garantiscono la specificità e l'aggiornamento delle informazioni come il RAG.