Een bedrijf moet een Amazon Bedrock-model kiezen voor intern gebruik en wil een model dat antwoorden produceert in de stijl die werknemers prefereren. Wat is de beste aanpak om te evalueren welk model overeenkomt met die voorkeursstijl?

De beste aanpak is het gebruik van menselijke evaluatoren met aangepaste prompt datasets. De voorkeursstijl van antwoorden is subjectief en kan alleen betrouwbaar worden beoordeeld door mensen die de bedrijfscultuur en de gewenste communicatiestijl kennen. Aangepaste prompt datasets zorgen ervoor dat de evaluatie relevant is voor de specifieke interne gebruiksscenario's. Ingebouwde prompt datasets zijn te algemeen. Openbare model leaderboards meten vaak algemene prestaties, niet specifieke stijlen. InvocationLatency metrics in CloudWatch meten de reactietijd van het model, wat belangrijk is voor prestaties, maar niets zegt over de kwaliteit of stijl van de gegenereerde antwoorden.