Een bedrijf is van plan om Amazon Bedrock LLM's te gebruiken om een chatinterface te bouwen die verwijst naar producthandleidingen die zijn opgeslagen als PDF-bestanden. Welke aanpak is het meest kosteneffectief?

De meest kosteneffectieve aanpak is het uploaden van de PDF-documenten naar een Amazon Bedrock knowledge base. Een knowledge base stelt de LLM in staat om relevante informatie uit de documenten op te halen via Retrieval Augmented Generation (RAG), wat de nauwkeurigheid verhoogt zonder de noodzaak om het model opnieuw te trainen. Dit is kosteneffectief omdat u alleen betaalt voor het opslaan van de documenten en het uitvoeren van de retrieval-query's, in plaats van voor dure fine-tuning of het versturen van grote hoeveelheden context bij elke prompt. Het toevoegen van één of alle PDF's direct aan de prompt is inefficiënt en duur, omdat LLM's beperkingen hebben op de contextlengte en grotere prompts meer kosten. Fine-tuning is duur en tijdrovend, en niet nodig voor dit specifieke gebruiksscenario, waarbij de informatie al in de documenten aanwezig is.