Een bedrijf heeft een chatbot nodig om vragen van werknemers over bedrijfsbeleid te beantwoorden. Beleid wijzigt regelmatig en de chatbot moet updates vrijwel onmiddellijk weergeven. Welke LLM-gebaseerde benadering voldoet aan deze vereiste?

De correcte optie is het implementeren van een Retrieval-Augmented Generation (RAG) pipeline met behulp van Amazon Bedrock Knowledge Bases. RAG is ideaal voor situaties waarin de informatie frequent verandert, omdat het LLM toegang geeft tot externe, up-to-date databronnen (zoals bedrijfsbeleidsdocumenten) zonder dat het model zelf opnieuw getraind hoeft te worden. Amazon Bedrock Knowledge Bases automatiseren het proces van het indexeren van deze documenten en het ophalen van relevante context voor het LLM. Het finetunen van een LLM is minder geschikt omdat dit een langdurig en kostbaar proces is dat bij elke beleidswijziging herhaald zou moeten worden. Het kiezen van een foundation model (FM) uit Amazon Bedrock en daar een applicatie op bouwen, biedt geen specifieke oplossing voor de dynamische aard van de beleidsdocumenten. Amazon Q Business is een goede optie voor zakelijke vragen, maar RAG met Bedrock Knowledge Bases biedt een meer directe en flexibele oplossing voor de specifieke eis van snelle updates van beleidsdocumenten.