Een chatbot die is gebouwd op een Amazon Bedrock foundation model doorzoekt een grote verzameling onderzoekspapers, maar presteert slecht vanwege de vele gespecialiseerde wetenschappelijke termen. Na prompt engineering is de prestatie nog steeds onvoldoende. Wat moet het bedrijf doen om de chatbot te verbeteren?

De chatbot presteert slecht door gespecialiseerde terminologie, zelfs na prompt engineering. Dit duidt op een gebrek aan domeinspecifieke kennis in het onderliggende foundation model. Domain-adaptation fine-tuning (domeinadaptatie-fijnafstemming) traint het model verder met een dataset van de onderzoekspapers, waardoor het de complexe wetenschappelijke termen en hun context leert begrijpen. Few-shot prompting is een vorm van prompt engineering en is al geprobeerd. Het aanpassen van inferentieparameters (zoals temperatuur) beïnvloedt de creativiteit of consistentie van de output, niet het begrip van onbekende terminologie. Het opschonen van teksten door complexe termen te verwijderen is contraproductief, aangezien de chatbot juist deze termen moet kunnen verwerken.