EduLogic vuole confrontare due modelli Bedrock per l'accuratezza delle risposte e la sicurezza prima di implementarne uno in produzione. Hanno bisogno di eseguire metriche automatiche e ripetibili su larga scala e anche di raccogliere giudizi umani per i casi limite. Quale architettura implementa al meglio sia la valutazione automatizzata con metriche integrate sia la valutazione umana per gli output campionati?

L'opzione corretta descrive l'approccio più completo e scalabile. Utilizza la valutazione automatizzata di Bedrock (o l'API) per metriche integrate come BLEU/ROUGE/F1 e punteggi di sicurezza su larga scala, essenziale per il confronto iniziale dei modelli. La persistenza su S3 garantisce la tracciabilità. Per i casi limite e le sfumature umane, il campionamento stratificato degli output e l'uso di SageMaker Ground Truth o Amazon A2I con un'interfaccia personalizzata permettono di raccogliere giudizi umani mirati ed efficienti. La combinazione di metriche automatiche e feedback umano fornisce una valutazione robusta per la selezione del modello. Le altre opzioni sono meno efficaci: L'esecuzione in tempo reale con CloudWatch e Lambda per le metriche è meno strutturata e non ottimizzata per la valutazione comparativa di modelli pre-produzione. Il feedback umano tramite un modulo web pubblico è inefficiente e non scalabile. SageMaker Model Monitor è per il monitoraggio in produzione, non per la valutazione comparativa pre-produzione. L'affermazione che Bedrock creerebbe automaticamente una coda di revisione umana integrata non è accurata. Affidarsi esclusivamente a Mechanical Turk per tutti gli output è estremamente costoso, lento e non scalabile per grandi volumi, e ignora i benefici delle metriche automatiche che forniscono una base quantitativa.