Amazon AIF-C01: Основы ИИ и машинного обучения — Руководство по подготовке
Часть AWS AI Practitioner AIF-C01 — Руководство по подготовке. Практикуйтесь с проверенными ответами в центре экзаменов Amazon, или пройдите тесты на время на ExamRoll.io.
Основные концепции и типы моделей
Понимание основной терминологии является основой для принятия взвешенных архитектурных и компромиссных решений. Обучение с учителем (supervised learning) сопоставляет входные данные с размеченными выходными и делится на регрессию для непрерывных целевых переменных и классификацию для дискретных классов; многоклассовая классификация (20 классов генов) в сравнении с бинарной классификацией влияет на выбор модели и функции потерь. Обучение без учителя (unsupervised learning) находит структуру в неразмеченных данных с помощью кластеризации и снижения размерности для сегментации и обнаружения аномалий. Распространенные семейства алгоритмов включают линейные модели и ансамбли деревьев (интерпретируемые, быстрые для табличных данных), методы опорных векторов (SVM) и нейронные сети (гибкие, с высокой производительностью для изображений, аудио и текста). Для задач с изображениями доминируют сверточные нейронные сети или предварительно обученные базовые модели компьютерного зрения (через Amazon SageMaker JumpStart или Amazon Rekognition Custom Labels); для текста архитектуры трансформеров лежат в основе больших языковых и последовательных моделей. Требования к интерпретируемости подталкивают специалистов к использованию более простых моделей или инструментов объяснимости, таких как SageMaker Clarify. Выбор модели — это баланс между точностью прогнозов, интерпретируемостью, задержкой при инференсе и стоимостью: модель на основе деревьев может быть достаточной для классификации генов, если требуется прозрачность, в то время как глубокие модели подходят для задач с высокоразмерными изображениями или текстом. Знание этих семейств и понимание, когда следует использовать предварительно обученные модели, а когда — обучать с нуля, помогает создавать эффективные и соответствующие требованиям решения.
Жизненный цикл МО, управление данными и признаками
Жизненный цикл машинного обучения начинается с постановки задачи, сбора данных, их разметки, инжиниринга признаков, обучения, валидации, развертывания, мониторинга и итераций. В средах AWS сервис SageMaker организует многие этапы жизненного цикла: SageMaker Processing для преобразования данных, SageMaker Feature Store для централизованного хранения признаков и их предоставления в онлайн/офлайн-режимах, а также SageMaker Pipelines для CI/CD конвейеров моделей. Качество разметки и баланс классов часто становятся узкими местами; вкладывайтесь в надежные конвейеры аннотирования или используйте SageMaker Ground Truth для уменьшения количества «шумных» меток и активное обучение для концентрации усилий человека. Отслеживание происхождения признаков (lineage) и контроль доступа важны для воспроизводимости и управления; регистрируйте признаки и модели в SageMaker Model Registry и версионируйте наборы данных в Amazon S3 с помощью политик жизненного цикла. Для производственной среды внедряйте автоматический мониторинг моделей с помощью SageMaker Model Monitor для обнаружения смещения данных (data drift), смещения концепции (concept drift) и снижения точности, а также интегрируйте оповещения через Amazon CloudWatch и AWS Lambda. Проектируйте конвейеры с учетом идемпотентности и возможности восстановления: используйте событийно-ориентированные шаблоны (события S3, Step Functions) и проектируйте масштабируемые вычислительные ресурсы и хранилища — обучение на инстансах EC2/GPU или Trainium, инференс на инстансах Inf1/Neptune/Graviton — в зависимости от требований к задержке и пропускной способности.
Оценка, алгоритмы и распространенные ловушки
Выбор метрик оценки и базовых моделей (baselines) — это решающая практика. Для задач классификации рассматривайте точность (precision), полноту (recall), F1-меру и площадь под ROC-кривой; для многоклассовой классификации используйте полноту для каждого класса и макро/микро-усреднения. Оценка регрессии использует RMSE, MAE и R-квадрат. Для обслуживания в производственной среде эффективность выполнения измеряется хвостовой задержкой (P95/P99) и пропускной способностью (запросов в секунду), а также стоимостью одного инференса. Типичные ловушки включают выбор метрики accuracy на несбалансированных наборах данных, переобучение из-за чрезмерной настройки гиперпараметров на тестовых данных и пренебрежение калибровкой, когда вероятности используются для принятия бизнес-решений. Используйте кросс-валидацию и отложенную выборку, а также реализуйте базовые модели (простые эвристики), чтобы убедиться, что МО приносит пользу. Когда размеченных данных мало, используйте трансферное обучение, аугментацию данных для изображений или полуавтоматические подходы (semi-supervised). Для обеспечения объяснимости и соответствия требованиям сочетайте непрозрачные модели с post-hoc методами объяснения (SHAP, integrated gradients) и интегрируйте SageMaker Clarify. Распространенные варианты выбора алгоритмов в AWS: XGBoost для табличных данных с быстрым обучением в SageMaker, сверточные нейронные сети (CNN) для изображений через Torch/TensorFlow на инстансах с GPU, и трансформеры для текста с использованием Hugging Face в SageMaker или базовых моделей Bedrock для генерации с извлечением информации (retrieval-augmented generation).
Фундаментальные модели, шаблоны развертывания и безопасность
Фундаментальные модели ускоряют разработку, но привносят свои архитектурные особенности и соображения безопасности. Amazon Bedrock предоставляет управляемый доступ к нескольким базовым моделям и поддерживает тонкую настройку (fine-tuning), рабочие процессы генерации с расширенным поиском (RAG) и интеграцию с векторными хранилищами, такими как Amazon OpenSearch Service (k-NN) или Amazon Kendra для семантического поиска. Выбирайте между тонкой настройкой (fine-tuning), настройкой по инструкциям (instruction-tuning) или легковесными адаптерами в зависимости от объема данных и требований к безопасности. Для вывода (inference) с низкой задержкой и высокой пропускной способностью рассмотрите развертывание оптимизированных моделей на Amazon EC2 Inf1 (Inferentia) или использование SageMaker Neo/Edge Manager для компиляции и хостинга моделей на периферийных устройствах. Для достижения абсолютно минимальной задержки при выводе на устройстве требуются квантование и сокращение (pruning) модели, а также локальная среда выполнения через SageMaker Edge Manager или AWS IoT Greengrass, что является компромиссом между размером модели и ее точностью. Шаблоны безопасности включают эндпоинты VPC, AWS PrivateLink для Bedrock, строгие роли IAM, шифрование конфиденциальных данных в S3 с помощью KMS и ведение журналов аудита. Для уменьшения галлюцинаций и атак на промпты внедряйте защитные механизмы (guardrails): очистку входных данных, шаблоны промптов, фильтры ответов и проверки с помощью RLHF или постобработки. Отслеживайте использование и аномальные вызовы API с помощью CloudTrail и внедряйте ограничения по частоте запросов (rate limits) и обнаружение аномалий для защиты доступа к модели и конфиденциальности данных.
Практическая задача: сценарий использования
Сценарий: GreenGene Labs использует среду AWS AI с Amazon S3 для необработанных данных, SageMaker для разработки моделей и Amazon Bedrock для экспериментов с фундаментальными моделями. Они хранят конфиденциальные геномные и клинические метаданные под строгим контролем доступа и нуждаются в масштабируемом выводе для исследовательских дашбордов.
Задача: Классифицировать образцы человеческих генов по 20 категориям с прозрачной логикой принятия решений, обеспечить повторное использование признаков (features) между командами и развернуть отслеживаемый API с низкой задержкой для исследователей.
Рекомендуемый подход:
- Используйте SageMaker Processing и Ground Truth для подготовки и разметки данных, сохраняя обработанные признаки в SageMaker Feature Store.
- Обучите интерпретируемые модели (XGBoost, деревья решений) в SageMaker Training; зарегистрируйте модели в SageMaker Model Registry и запишите их происхождение (lineage).
- Разверните лучшую модель на эндпоинте SageMaker за Application Load Balancer с автомасштабированием; включите SageMaker Model Monitor для отслеживания смещения (drift) и оповещения в CloudWatch.
- Для экспериментов с более крупными представлениями используйте модели из Bedrock или Hugging Face для получения эмбеддингов и добавьте векторный индекс OpenSearch для поиска по сходству; объедините результат с интерпретируемой моделью для окончательной классификации.
Обоснование: Централизованное управление признаками и воспроизводимые конвейеры уменьшают утечку данных и ускоряют совместную работу, в то время как приоритет интерпретируемых моделей удовлетворяет требованиям прозрачности, а эмбеддинги из Bedrock позволяют получить более богатые представления без ущерба для управляемости.
Все домены · Концепции генеративного ИИ →
Отработать эти вопросы → · Тесты на время на ExamRoll.io →
Pass the whole exam — not just this question
You found this answer. Get every verified question and explanation in one place, and save hours of prep. Free to start.
Сдайте экзамен →