Ein Support-Chatbot muss frühere Nachrichten desselben Kunden verwenden, um ein mehrstufiges Problem zu lösen. Welche Lösung ermöglicht es dem LLM, auf frühere Kundeninhalte zuzugreifen, wenn es eine Antwort generiert?

Um einem LLM zu ermöglichen, frühere Nachrichten in einem mehrstufigen Problem zu berücksichtigen, müssen diese Nachrichten direkt in den Modell-Prompt aufgenommen werden. Das LLM verarbeitet den gesamten Prompt als Kontext, um die nächste Antwort zu generieren. Die Aktivierung der Protokollierung des Modellaufrufs sammelt zwar Nachrichten, macht sie aber nicht direkt für das LLM während der Inferenz verfügbar. Amazon Personalize ist ein Empfehlungsdienst und nicht dafür gedacht, Konversationsverläufe für LLM-Kontext zu speichern. Provisioned Throughput verbessert die Leistung und Skalierbarkeit des LLM, hat aber keinen Einfluss auf die Art und Weise, wie das LLM auf frühere Konversationen zugreift.