Un'azienda deve scegliere un modello Amazon Bedrock da utilizzare internamente e desidera un modello che produca risposte nello stile preferito dai dipendenti. Qual è l'approccio migliore per valutare quale modello corrisponde a quello stile preferito?

Per valutare quale modello Amazon Bedrock produce risposte nello stile preferito dai dipendenti, l'approccio migliore è utilizzare valutatori umani con set di dati di prompt personalizzati. I valutatori umani possono giudicare soggettivamente la qualità, la pertinenza e lo stile delle risposte in base alle preferenze specifiche dell'azienda, cosa che le metriche automatiche non possono fare accuratamente per aspetti stilistici. L'uso di prompt personalizzati garantisce che la valutazione sia pertinente ai casi d'uso interni dell'azienda. I set di dati di prompt integrati sono utili per valutazioni generali, ma non riflettono le preferenze stilistiche specifiche. Affidarsi alle classifiche pubbliche dei modelli non garantisce che un modello si adatti allo stile desiderato dall'azienda, poiché queste classifiche si basano su metriche generali. Le metriche InvocationLatency di CloudWatch misurano solo la latenza di esecuzione, non la qualità o lo stile delle risposte.