Chatbot wsparcia technicznego musi wykorzystywać wcześniejsze wiadomości od tego samego klienta, aby rozwiązać problem wymagający wielu tur rozmowy. Które rozwiązanie umożliwia LLM dostęp do wcześniejszych treści klienta podczas generowania odpowiedzi?

Aby LLM mógł odwoływać się do wcześniejszych wiadomości w wieloturowej rozmowie, muszą one zostać uwzględnione w bieżącym prompcie. Model nie ma wbudowanej pamięci długoterminowej i przetwarza każdy prompt niezależnie. Dodanie historii rozmowy do promptu kontekstualizuje zapytanie, umożliwiając modelowi generowanie spójnych i trafnych odpowiedzi. Włączenie logowania wywołań modelu zbiera dane, ale nie udostępnia ich modelowi w czasie rzeczywistym. Amazon Personalize służy do personalizacji rekomendacji, a nie do zarządzania historią rozmów dla LLM. Provisioned Throughput dla LLM zapewnia stałą wydajność, ale nie wpływa na sposób zarządzania kontekstem rozmowy.