Firma planuje wykorzystać modele LLM Amazon Bedrock do zbudowania interfejsu czatu, który odwołuje się do instrukcji produktów przechowywanych jako pliki PDF. Które podejście jest najbardziej opłacalne?

Przesłanie dokumentów PDF do bazy wiedzy Amazon Bedrock i użycie jej do dostarczenia kontekstu dla promptów jest najbardziej opłacalne. Bazy wiedzy w Amazon Bedrock są zaprojektowane do efektywnego zarządzania dużymi zbiorami danych i wyszukiwania kontekstu, co jest kluczowe dla aplikacji RAG (Retrieval Augmented Generation). Wysyłanie pojedynczych lub wszystkich plików PDF bezpośrednio w prompcie jest nieefektywne i kosztowne ze względu na ograniczenia rozmiaru promptu i tokenów. Dostrajanie modelu (fine-tuning) dla każdego nowego zestawu dokumentów jest kosztowne i czasochłonne, a także nie jest optymalne dla dynamicznie zmieniających się danych.