EduLogic хочет сравнить две модели Bedrock по точности ответов и безопасности, прежде чем внедрять одну из них в производство. Им необходимо запускать автоматические, повторяемые метрики в масштабе, а также собирать человеческие оценки для пограничных случаев. Какая архитектура лучше всего реализует как автоматическую оценку со встроенными метриками, так и человеческую оценку для выборочных результатов?

Этот вариант является наиболее полным и правильным, так как он сочетает автоматизированную оценку с помощью Bedrock Evaluation API для масштабируемых и повторяемых метрик (BLEU/ROUGE/F1, показатели безопасности) на размеченном наборе данных, что соответствует требованиям к автоматической оценке. Для пограничных случаев и сбора человеческих оценок используется SageMaker Ground Truth (или Amazon A2I), что позволяет получить качественные человеческие оценки на стратифицированном подмножестве данных. Сохранение артефактов в S3 обеспечивает хранение и анализ. Другие варианты не обеспечивают такой комплексный подход: использование CloudWatch Logs и веб-форм менее надежно и масштабируемо; Model Monitor предназначен для мониторинга в продакшене, а не для предпроизводственной оценки; полагаться только на человеческую оценку неэффективно и не соответствует требованию автоматических метрик.