Un chatbot de support doit utiliser les messages précédents du même client pour résoudre un problème en plusieurs étapes. Quelle solution permet au LLM d'accéder au contenu client antérieur lors de la génération d'une réponse ?

Pour qu'un LLM puisse résoudre un problème en plusieurs étapes en utilisant les messages précédents d'un client, il doit avoir accès à l'historique de la conversation. L'ajout des messages précédents à l'invite du modèle (le "contexte") est la méthode standard pour fournir cette information au LLM. Cela lui permet de comprendre le fil de la discussion et de générer une réponse pertinente. Activer la journalisation des invocations de modèle est utile pour l'audit et le débogage, mais ne fournit pas directement les messages précédents au LLM pour la génération de réponse. Utiliser Amazon Personalize est destiné à la personnalisation de contenu ou de recommandations, pas à la gestion de l'historique de conversation pour un LLM. Le débit provisionné (Provisioned Throughput) est une mesure de performance et de capacité pour le LLM, sans rapport avec la gestion du contexte de conversation.