Amazon AIF-C01: Обучение, оценка и оптимизация моделей — Руководство по подготовке

By Laurynas Brazys · 30 July 2026 · #amazon #aif-c01 #certification #exam-prep #study-guide

Часть AWS AI Practitioner AIF-C01 — Руководство по подготовке. Практикуйтесь с проверенными ответами в центре экзаменов Amazon, или пройдите тесты на время на ExamRoll.io.

Стратегии обучения и архитектура данных

Разработка стратегий обучения начинается с выбора: обучать модель с нуля, дообучать (fine-tune) предварительно обученную модель или применять техники few‑shot/prompting. Для небольших наборов размеченных данных трансферное обучение на предварительно обученной модели (модели из Amazon Bedrock или SageMaker JumpStart) ускоряет сходимость и улучшает обобщающую способность. Для больших, специфичных для домена корпусов данных может потребоваться полное обучение на SageMaker Training с использованием распределенных инстансов (Horovod или управляемое SageMaker распределенное обучение). Архитектура данных имеет значение: храните сырые и обработанные данные в Amazon S3, управляйте признаками в Amazon SageMaker Feature Store, преобразуйте их с помощью AWS Glue или SageMaker Processing и размечайте с помощью Amazon SageMaker Ground Truth. Обеспечивайте безопасность и конфиденциальность с помощью эндпоинтов VPC, шифрования KMS и частных коннекторов Bedrock при дообучении на конфиденциальных данных. Распространенные ловушки включают утечку меток из будущей информации, утечку на основе времени для временных задач и несбалансированную выборку, которая искажает метрики. Критерии принятия решений должны учитывать размер набора данных, качество разметки, ограничения по задержке и стоимости, а также нормативные требования. Выбирайте спотовое обучение для экономии, но проверяйте воспроизводимость и использование контрольных точек (checkpointing). Используйте SageMaker Experiments для отслеживания запусков и Model Registry для версионирования артефактов, что обеспечивает воспроизводимые сравнения и безопасные откаты.

Метрики оценки и валидации

Выбор метрик должен определяться бизнес-целью, а не привычкой. Для задач классификации отдавайте приоритет точности (precision), когда ложноположительные срабатывания обходятся дорого (оповещения о мошенничестве), и полноте (recall), когда пропуск положительных случаев опасен (скрининг заболеваний). Для извлечения информации и реферирования ROUGE и BLEU измеряют пересечение n-грамм и беглость речи, в то время как для ответов, критичных с точки зрения соответствия требованиям, необходима оценка человеком или метрики фактологической точности. Используйте надежные стратегии валидации: стратифицированную k-блочную кросс-валидацию (stratified k-fold) или разбиения с учетом временных рядов, выделенный отложенный тестовый набор (holdout test set), а также теневые (shadow) или канареечные (canary) развертывания для проверки производительности в производственной среде под реальной нагрузкой. Калибровка модели и выбор порога часто требуют анализа кривых точности-полноты (precision-recall curves) или ROC-AUC, а также методов постренировочной калибровки. Рассматривайте бизнес-ориентированные метрики (ошибка, взвешенная по стоимости; прирост в удержании клиентов) наряду с техническими метриками. Распространенные ловушки для практиков включают чрезмерную зависимость от метрики accuracy при несбалансированных классах и оценку NLG только с помощью BLEU/ROUGE, когда важна фактологическая состоятельность. Справочные определения метрик:

Accuracy (доля правильных ответов): пропорция верных предсказаний.
Precision (точность): количество истинно положительных результатов, разделенное на количество предсказанных положительных результатов.
Recall (полнота): количество истинно положительных результатов, разделенное на количество фактических положительных результатов.
F1-мера (F1 score): гармоническое среднее точности и полноты.
ROC AUC: площадь под ROC-кривой (кривой рабочих характеристик приемника).
BLEU: метрика пересечения n-грамм на основе точности для задач, подобных переводу.
ROUGE: метрика пересечения n-грамм на основе полноты для задач реферирования.

Переобучение, недообучение, дрейф и объяснимость

Переобучение (overfitting) возникает, когда модель запоминает шум в обучающих данных; недообучение (underfitting) — когда модель не может уловить основной сигнал. Способы борьбы включают раннюю остановку, регуляризацию (L1/L2), dropout для нейронных сетей, аугментацию данных и ансамблирование. Для табличных данных инжиниринг признаков и их отсев (pruning) снижают дисперсию; для LLM выборочное дообучение (selective fine-tuning) или настройка промптов (prompt tuning) помогают избежать катастрофического забывания. Дрейф модели проявляется как дрейф ковариат (сдвиг распределения входных данных) или дрейф концепта (изменение взаимосвязей с метками). Внедряйте непрерывный мониторинг с помощью Amazon SageMaker Model Monitor для обнаружения дрейфа данных и предсказаний, а также организуйте периодическое переобучение с помощью SageMaker Pipelines или событийно-ориентированных рабочих процессов, используя AWS Lambda и Step Functions. Для регулируемых сред применяйте инструменты объяснимости и справедливости: SageMaker Clarify предоставляет важность признаков, метрики смещения (bias) и отчеты до/после обучения; SHAP и LIME, интегрированные в конвейеры вывода, предлагают локальные объяснения. Распространенные ловушки включают путаницу между проблемами качества данных и деградацией модели, откладывание переобучения до тех пор, пока производительность не упадет ниже бизнес-порогов, и отказ от логирования входов/выходов для анализа первопричин. Проектируйте процесс проверки человеком (human-in-the-loop) с помощью Amazon Augmented AI (A2I) для предсказаний с низкой уверенностью или высоким риском.

Оптимизация, настройка гиперпараметров и управление жизненным циклом

Настройка гиперпараметров и стратегия развертывания определяют, соответствует ли модель целевым показателям точности, задержки и стоимости. Используйте SageMaker Automatic Model Tuning для выполнения байесовского, случайного или hyperband-поиска, а также для заданий настройки с теплым стартом (warm-start), когда требуется итеративное улучшение без повторного исследования неэффективных областей. Выбирайте стратегию поиска в зависимости от размерности и вычислительного бюджета: сеточный (grid) для небольших дискретных пространств, случайный (random) для широкого охвата и байесовский (Bayesian) для эффективной сходимости. Оптимизируйте модель с учетом операционных ограничений, профилируя ее с помощью SageMaker Debugger для сбора тензоров и правил, указывающих на исчезающие градиенты или узкие места, и выбирайте типы инстансов в зависимости от потребностей в памяти и ресурсах CPU/GPU. При дообучении (fine-tuning) базовых моделей в Bedrock или через SageMaker следует рассматривать параметро-эффективные методы (слои-адаптеры, настройка промптов), чтобы контролировать затраты и снизить риск изменения поведения базовой модели. Для развертывания регистрируйте модели в SageMaker Model Registry, создавайте CI/CD с помощью CodePipeline и SageMaker Projects и обслуживайте их через SageMaker Endpoints или бессерверный инференс (serverless inference) в зависимости от трафика. Распространенные ошибки включают погоню за незначительным улучшением метрик при непропорциональных затратах, пренебрежение калибровкой и оценкой уверенности (что приводит к хрупким триггерам для ручной проверки), а также отказ от версионирования наборов данных вместе с моделями; включайте отслеживание происхождения данных (lineage) в Feature Store и Glue Catalog для поддержания воспроизводимости.

Практическая задача: сценарий использования

Сценарий: FinBank, финансовая компания среднего размера, использует модели на AWS и хранит метаданные о транзакциях и клиентах в S3 и SageMaker Feature Store. Они используют Bedrock для генеративного ассистента и SageMaker для предиктивных моделей.

Проблема: Модель прогнозирования оттока клиентов демонстрирует снижение производительности после недели работы с производственными данными. Команде нужен контролируемый план для измерения дрейфа, обновления модели и обеспечения соответствия требованиям к объяснимости.

Рекомендуемый подход:

Развернуть Amazon SageMaker Model Monitor для сбора распределений признаков, сводок прогнозов и обнаружения дрейфа ковариат и прогнозов (covariate and prediction drift) относительно базового набора данных.
При обнаружении дрейфа запустить конвейер SageMaker Pipeline для валидации данных (с помощью Glue и AWS Data Wrangler), повторной балансировки или аугментации данных и создания задания на переобучение с помощью SageMaker Training с настройкой гиперпараметров в режиме теплого старта (Warm-Start).
Перед развертыванием запустить SageMaker Clarify для анализа справедливости (fairness) и важности признаков, а также для генерации отчетов по объяснимости; направлять прогнозы с низкой уверенностью в рабочие процессы ручной проверки Amazon Augmented AI (A2I).
Зарегистрировать новую модель в SageMaker Model Registry, развернуть ее на канареечной конечной точке (canary SageMaker Endpoint) и выполнить теневое тестирование трафика (shadow traffic testing) с последующим поэтапным развертыванием с использованием аварийных сигналов CloudWatch для ключевых бизнес-показателей (KPI).

Обоснование: Непрерывный мониторинг с помощью Model Monitor позволяет заблаговременно обнаруживать дрейф; автоматизированные конвейеры обеспечивают воспроизводимость и экономичное переобучение, а Clarify и A2I предоставляют объяснения, соответствующие требованиям комплаенса, и человеческий контроль в соответствии с лучшими практиками AWS AI Practitioner.

← Инженерия данных для ML · Все домены · MLOps и развертывание →

Отработать эти вопросы → · Тесты на время на ExamRoll.io →