Un chatbot di supporto deve utilizzare i messaggi precedenti dello stesso cliente per risolvere un problema multi-turno. Quale soluzione consente all'LLM di accedere al contenuto precedente del cliente durante la generazione di una risposta?

Per consentire a un LLM di accedere ai messaggi precedenti del cliente in una conversazione multi-turno, è necessario aggiungere tali messaggi direttamente al prompt del modello. Questo approccio, noto come "context window" o "in-context learning", fornisce all'LLM il contesto conversazionale necessario per generare risposte coerenti e informate. Attivare la registrazione delle invocazioni del modello raccoglie i dati, ma non li rende automaticamente disponibili all'LLM per la generazione in tempo reale. Amazon Personalize è un servizio di raccomandazione e non è progettato per gestire la cronologia delle conversazioni in questo modo. L'utilizzo del Provisioned Throughput per l'LLM migliora le prestazioni e la disponibilità del modello, ma non influisce sul modo in cui il contesto precedente viene fornito al modello.